CN103455843B - 一种反馈型人工神经网络训练方法及计算系统 - Google Patents

一种反馈型人工神经网络训练方法及计算系统 Download PDF

Info

Publication number
CN103455843B
CN103455843B CN201310358885.8A CN201310358885A CN103455843B CN 103455843 B CN103455843 B CN 103455843B CN 201310358885 A CN201310358885 A CN 201310358885A CN 103455843 B CN103455843 B CN 103455843B
Authority
CN
China
Prior art keywords
node
feedback
signal
artificial neural
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310358885.8A
Other languages
English (en)
Other versions
CN103455843A (zh
Inventor
陈进才
张涵
周西
周功业
卢萍
缪向水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201310358885.8A priority Critical patent/CN103455843B/zh
Publication of CN103455843A publication Critical patent/CN103455843A/zh
Application granted granted Critical
Publication of CN103455843B publication Critical patent/CN103455843B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种反馈型人工神经网络训练方法及计算系统,属于神经网络计算领域。一种人工神经网络训练方法,突触权重根据神经突出两端的前馈信号和反馈信号调整,当神经突出两端分别为兴奋前馈信号和兴奋反馈信号时,该突出权重调整到最大值,当神经突出两端分别为静息前馈信号和兴奋反馈信号时,该突出权重调整到最小值;一种反馈型人工神经网络计算系统,节点电路包括计算模块、前馈模块和反馈模块,节点电路通过忆阻器模拟的神经突出相连,采用一系列脉冲信号实现所述反馈型人工神经网络训练方法。本发明提供的人工神经网络收敛速度快,人工神经网络计算系统控制元件较少,能耗低,可应用于数据挖掘、模式识别、图像识别等方面。

Description

一种反馈型人工神经网络训练方法及计算系统
技术领域
本发明属于人工神经网络计算系统领域,更具体地,涉及一种反馈型人工神经网络训练方法及一种反馈型人工神经网络计算系统。
背景技术
大脑神经突触联接是一个神经元的冲动传到另一个神经元间的相互接触的结构。上一个神经元的轴突与下一神经元的树突形成突触联接。当上一神经元产生的神经脉冲达到一定强度,神经元由静息态转换成兴奋态,则神经脉冲从上一神经元通过神经突触联接传导到下一神经元,而下一神经元产生的神经脉冲强度取决于神经突触的传导能力;当上一神经元产生的神经脉冲没有达到这一强度,神经元处于静息状态,则其产生的神经脉冲不会传导到下一神经元。恰好能使上一神经元的神经脉冲传导到下一神经元的神经脉冲强度称作神经元阈值。神经突触的传导能力称作突触权重,突触权重越大,代表神经突触传导能力越强,即该神经突触上下神经元关系紧密。神经脉冲通过神经突触从一层神经元传递到下一层神经元,如此一层层传递形成多层神经网络。
人工神经网络是一种模仿大脑神经元通过突触相互联接结构的计算系统,能进行信息处理,广泛应用于自动识别系统,如图像识别、数据分类等领域。人工神经网络由大量节点相互联接构成,节点模拟神经元,他们之间的相互联接模拟神经突触。每个节点代表一种特定输出的函数,称为激励函数,节点输出的信号称作激励信号,每两个节点间的连接都代表一个对于通过该连接信号的加权值,即突触权重。这相当于人工神经网络的记忆,网络的输出则根据网络的连接方式,突触权重和激励函数的不同而不同。网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
人工神经网络分为抑制型人工神经网络和反馈型人工神经网络。前者是指突触权重会保持一个固定值;后者指的是在反馈阶段人工神经网络进行学习,神经突触的传导能力会按照某种方法产生改变。这种方法改变神经网络的记忆,使神经网络能对自然界某种算法或者函数逼近,赋予了神经网络学习能力,即所谓的训练方法。
目前公知训练方法有反向传播方法(backpropagationalgorithm,BP)、模拟退火方法(SimulatedAnnealing,SA)、脉冲时间相关的突出可塑性方法(spiketiming-dependentplasticity,STDP)等。
虽然现有训练方法能模拟生物神经网络,较精确的控制突触权重的变化,但人工神经网络通常具有较大规模,包含的节点数目庞大,联接结构复杂。目前已有应用这些训练方法的人工神经网络计算系统,其控制元件较多,控制电路复杂,因此能耗较高,且反馈时人工神经网络训练收敛速度较慢。而大多数情况下,并不需要精确控制突触权重的变化,通过神经网络的训练过程也能实现较好的人工神经网络模拟效果,因此需要一种人工神经网络计算系统,简化实现人工神经网络计算系统的电路复杂程度,减少控制元件数量,降低能耗。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于反馈型人工神经网络计算系统以及一种反馈型人工神经网络的训练方法,其目的在于简化人工神经网络训练方法,减少人工神经网络控制元件,由此解决现有的人工神经网络实现复杂,能耗高,收敛慢的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种反馈型人工神经网络训练方法,在人工神经网络反馈训练时,根据上节点的前馈信号和下节点的反馈信号调整连接该两节点间神经突触的权重,具体步骤如下:
(1)人工神经网络各节点接收输入信号;
(2)人工神经网络各节点根据输入信号和激励函数进行计算;
(3)人工神经网络各节点将激励函数计算结果与节点兴奋阈值比较,当计算结果高于或等于节点兴奋阈值时,表明该节点产生神经兴奋,则节点输出兴奋前馈信号和兴奋反馈信号,反之,表明该节点不产生神经兴奋,处于静息状态,则节点输出静息前馈信号和静息反馈信号;
(4)神经突触接收上节点的前馈信号和下节点的反馈信号;
(5)当上节点输出兴奋前馈信号且下节点输出兴奋反馈信号时,表明该上节点与下节点关系紧密,则将突触权重调整到最大值,当上节点输出静息前馈信号且下节点输出兴奋反馈信号时,表明该上节点与下节点关系松散,则将突触权重调整到最小值。
为实现上述目的,按照本发明的另一个方面,提供了一种反馈型人工神经网络,包括至少两层节点,上一层节点的输出端与下一层节点的输入端通过神经突触相连,前馈阶段,所述反馈型人工神经网络输出计算结果,反馈阶段,所述反馈型人工神经网络调整神经突触权重,其特征在于,人工神经网络的各节点包括:计算模块、前馈模块和反馈模块,其中:
计算模块,其输入端连接本节点输入端,输出端连接前馈模块输入端和反馈模块输入端,用于接收节点输入信号,根据激励函数对输入信号进行计算,并将计算结果与节点阈值电压比较,当计算结果高于或等于阈值电压时,则输出一个激励脉冲信号,否则输出零电压;
前馈模块,其输入端连接计算模块输出端,输出端连接本节点输出端,受全局时钟信号控制,全局时钟信号表明处于前馈阶段,将计算模块输出信号输出到本节点输出端,全局时钟信号表明处于反馈阶段,当接收到计算模块激励脉冲信号时,产生前馈脉冲信号并输出到本节点输出端,否则输出零电压到本节点输出端;
反馈模块,其输入端连接计算模块输出端,输出端连接本节点输入端,受全局时钟信号控制,全局时钟信号表明处于前馈阶段,输出零电压到本节点输入端,全局时钟信号表明处于反馈阶段,当接收到计算模块激励脉冲时,产生反馈脉冲信号并输出到本节点输入端,否则输出零电压到本节点输入端;
神经突触,其两端分别连接上节点输出端和下节点输入端,在前馈阶段,神经突触以当前权重将上节点输出端的信号传送给下节点输入端;在反馈阶段,神经突触根据上节点输出端前馈信号和下节点输入端反馈信号自动调整突触权重,其过程为:当上节点输出端信号为前馈脉冲且下节点输入端信号为反馈脉冲时,突触权重调整到最大值,当上节点输出端信号为零电压而下节点输入端信号为反馈脉冲信号时,突触权重调整到最小值。
优选地,所述反馈型人工神经网络,其神经突触采用忆阻器,忆阻器的正向端与上节点输出端相连,忆阻器的反向端与下节点输入端相连。
优选地,所述反馈型人工神经网络,其全局时钟信号以输入脉冲周期为帧,一帧分为两个时隙,第一个时隙为前馈时隙,所述反馈型人工神经网络处于前馈阶段,第二个时隙为反馈时隙,所述反馈型人工神经网络处于反馈阶段。
优选地,所述反馈型人工神经网络,其节点阈值电压低于神经突触忆阻器正向阈值电压。
优选地,所述反馈型人工神经网络,其节点阈值电压为神经突触忆阻器正向阈值电压的2/3。
优选地,所述反馈型人工神经网络,其节点输入信号为零电压或一个脉冲信号,零电压代表数据“0”,脉冲信号代表数据“1”,代表数据“1”的脉冲信号为一个正向脉冲,其脉冲宽度为一个单位宽度,脉冲幅值高于节点阈值电压低于神经突触忆阻器正向阈值电压。
优选地,所述反馈型人工神经网络,其节点前馈模块在反馈阶段产生的前馈脉冲信号为一个正向脉冲,其脉冲宽度为两个单位宽度,脉冲幅值在神经突触忆阻器正向阈值电压的一半到正向阈值电压之间。
优选地,所述反馈型人工神经网络,其节点反馈模块反馈阶段产生的反馈脉冲信号,由两个连续的脉冲信号组成,第一个脉冲信号为负向脉冲,其脉冲宽度为一个单位宽度,脉冲幅值在神经突触忆阻器负向阈值电压的一半到负向阈值电压之间,第二个脉冲信号为正向脉冲,其脉冲宽度为一个单位宽度,脉冲幅值在神经突触忆阻器正向阈值电压到正向阈值电压1.5倍之间。
本发明提供的一种反馈型人工神经网络训练方法,反馈时对于每一个神经突触而言,涉及的节点仅为与其直接连接的上节点和下节点,因此反馈及时,不同的神经突触同时调整权重,相互之间不存在依赖关系,因此训练时间短,对神经突出的调整的具体方案较为简单,不需确定上节点和下节点兴奋时间差,因此能够取得训练收敛快的有益效果;本发明提供的一种反馈型人工神经网络计算系统,采用了所述训练方法,与现有技术相比,设计较为简单;采用忆阻器模拟神经突触,降低了人工神经网络系统的能耗;设计了一系列脉冲信号,使得忆阻器自动调整阻值来实现反馈型人工神经网络训练过程,电路控制元件少。总体而言,通过本发明所构思的以上技术方案与现有技术方案相比,取得了反馈型人工神经网络反馈及时、收敛快、能耗低、控制元件少、结构简单的有益效果。
附图说明
图1是两层人工神经网络结构图;
图2是节点结构图;
图3是一个帧中前馈信号和反馈信号示意图;
图4是神经突触忆阻器两端可能使忆阻器阻值改变的电压信号;
图5是神经突触忆阻器阻值改变时其两端可能出现的电压差变化;
图6是节点计算模块结构图;
图7是节点前馈模块结构图;
图8是节点反馈模块结构图;
在所有附图中,相同的附图标记用来表示相同的元件或结构,其中:201是节点电路反馈模块,202是节点电路计算模块,203是节点电路前馈模块,301是一个帧中兴奋节点前馈模块输出信号,302是一个帧中兴奋节点反馈模块输出信号,303是一个帧中静息节点前馈模块输出信号,304是一个帧中静息节点反馈模块输出信号,601是运算放大器,602是比较器,603是计算模块脉冲发生器,701是前馈模块时分多路复用器,702是前馈模块脉冲发生器,801反馈模块时分多路复用器,802是反馈模块脉冲发生器。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1为上一层节点输出端与下一层节点的输入端通过忆阻器模拟的神经突触相连的结构示意图。节点电路采用纳米线作为电信号输入和输出端,上一层节点输出端纳米线与下一层节点输入端纳米线纵横交错,形成交叉杆结构,忆阻器形成的神经突触结构位于交叉杆阵列的交叉处,联接上一层节点的输出端纳米线与下一层节点的输入端纳米线,节点电路集中排列在交叉杆阵列的边缘。
人工神经网络的节点结构如图2所示,一个节点包括三个模块:计算模块201、反馈模块202、前馈模块203。其中,计算模块负责接收上层节点通过神经突触传导来的正向脉冲电压信号,采用求和函数作为激励函数进行计算,如果计算结果高于或等于节点阈值电压则表明节点处于兴奋状态,计算模块输出一个脉冲信号,反之,则表明节点处于静息状态,计算模块输出零电压。计算模块将信号输出给反馈模块和前馈模块。反馈模块和前馈模块受全局时钟控制。一个输入脉冲信号的作用时间为全局时钟的一帧,全局时钟的一帧包括两个阶段:第一阶段为前馈阶段,这段时间称为前馈时隙,人工神经网络进行计算过程并输出计算结果;第二阶段为反馈阶段,这段时间称为反馈时隙,人工神经网络进行训练过程,突触权重根据本发明提供的训练方法发生改变。全局时钟同步控制所有节点电路,能保证所有节点反馈的实时性,避免因脉冲信号传导延时导致节点行为混乱。当全局时钟处于前馈时隙时:如果节点处于兴奋状态,前馈模块将计算模块输出的脉冲信号输出到本节点输出端,反馈模块没有脉冲信号输出,输出零电压到节点输入端;如果节点处于静息状态,前馈模块输出零电压到本节点输出端,反馈模块输出零电压到节点输入端。当全局时钟处于反馈时隙时:如果节点处于兴奋状态,前馈模块输出一个前馈脉冲信号到本节点输出端作为兴奋前馈信号,反馈模块输出一个反馈脉冲信号到本节点输入端作为兴奋反馈信号;如果节点处于静息状态,前馈模块输出零电压到节点输出端作为静息前馈信号,反馈模块输出零电压到节点输入端作为静息反馈信号。
所述反馈型人工神经网络的输入信号有两种分别代表数据“0”和数据“1”,代表数据“0”的输入信号为零电压,代表数据“1”的输入信号为一个单位的脉冲信号,其幅值高于节点阈值电压低于神经突触忆阻器正向阈值电压。
计算模块输出信号:如果激励函数计算结果高于或等于节点阈值电压,计算模块输出的脉冲信号为一个单位的脉冲信号,其幅值高于节点阈值电压低于神经突触忆阻器正向阈值电压;如果激励函数计算结果低于节点阈值电压,则输出零电压。
图3是一个帧中前馈信号和反馈信号的示意图,301为一个帧中,处于兴奋状态的节点前馈模块输出信号,302为一个帧中,处于兴奋状态的节点反馈模块输出信号,303为一个帧中,处于静息状态的节点前馈模块输出信号,304为一个帧中,处于静息状态的节点反馈模块输出信号。兴奋节点的前馈模块在前馈时隙脉冲信号和数据“1”的输入信号相同,该脉冲信号为正向,宽度比较小,幅值低于神经突触正向阈值电压。兴奋节点前馈模块在反馈时隙输出兴奋前馈信号,该信号为一个正向脉冲信号,宽度是输入脉冲宽度的两倍,幅值低于神经突触正向阈值电压。兴奋节点的反馈模块在前馈时隙输出为零电压,在反馈时隙输出为兴奋反馈信号,该信号是由两个连续的方向相反的脉冲信号组成,脉冲的总宽度为输入信号宽度的两倍,负向脉冲宽度与输入脉冲宽度相同,脉冲幅值在神经突触负向阈值电压的一半到神经突触负向阈值电压之间,正向脉冲宽度与输入脉冲宽度相同,脉冲幅值在神经突触正向阈值到神经突触正向阈值1.5倍之间。静息节点前馈模块在前馈时隙输出信号与数据“0”输入信号相同,为零电压,在反馈时隙输出零电压作为静息前馈信号。静息节点的反馈模块在前馈时隙输出为零电压,在反馈时隙输出零电压作为静息前馈信号。
所述神经突触结构可使用忆阻器形成。忆阻器是一种无源电子元件,当电流(或电压)从某一个端通过,电阻值增加,当电流(或电压)从相反端流入,电阻值减少,当电流(或电压)停止,最后的阻值将被保存,这种类似于可变电阻被称为忆阻。忆阻器的运用广泛,由于忆阻器和生物神经突触具有相似的可变性和变化规律,可用作形成人工神经网络电路中的突触联接。忆阻器形成人工神经网络电路中的突触联接,由于其在断电时能自动存储神经突触权重,因此能实现人工神经网络自动记忆功能,由于期的忆阻改变主要依靠流入的电流或电压,因此能实现人工神经网络的自动学习过程,由于它是一个不耗能,记忆不消失的可编程电阻,因此进一步可降低人工神经网络计算系统的能耗。综上所述,忆阻器应用于人工神经网络能简化人工神经网络计算系统的结构,降低人工神经网络计算系统的能耗。
使用忆阻器形成人工神经网络的神经突触结构,将忆阻器的正向端与上一层节点输出端相连,忆阻器反向端与下一层节点输入端相连。忆阻器形成的神经突触其两端正向电压大于忆阻器正向阈值电压时,神经突触忆阻器呈现低阻态,传导能力增强;当神经突触两端负向电压小于负向阈值电压时,神经突触忆阻器呈现高阻态,传导能力减弱;其他情况神经突触的传导能力几乎不变。
反馈时隙,如果神经突触上节点和下节点都处于兴奋状态,表明这两个节点之间的联系紧密,该突触权重应增大。此时,神经突触忆阻器两端电压信号如图4A所示,忆阻器两端电压差如图5A所示,其电压差超过忆阻器正向阈值电压,忆阻器电阻减小,呈低阻态,该神经突触权重增加。如果神经突触上节点处于静息状态而下节点处于兴奋状态,表明这两个节点之间的联系松散,该突触权重应减小。此时,忆阻器两端电压如图4B所示,忆阻器两端电压差如图5B所示,其电压差超过忆阻器负向阈值电压,忆阻器电阻增大,呈高阻态,该神经突触权重减小。其他情况无法判定神经突触上一节点和下一节点的关系,神经突触权重应保持不变。此时,神经突触忆阻器两端电压不会超过正向阈值或负向阈值,因此忆阻器阻值几乎不变,神经突触权重维持不变。这样反馈时隙实现了本发明提供的反馈型人工神经网络训练方法,即人工神经网络反馈时,如果神经突触上节点和下节点都处于兴奋状态则调整该突触权重至最大值,如果神经突触上节处于静息状态而下节点处于兴奋状态则调整该突触权重至最小值。
所述人工神经网络在反馈时隙,所有的神经突触根据其两端电压调整突触权重,实现本发明提供的反馈型人工神经网络训练方法。所述人工神经网络经过多个反馈时隙,完成多次学习之后,将收敛,呈现一个稳定状态,即完成了对目标逻辑或目标模型的模拟和逼近,然后该人工神经网络可在前馈阶段可根据目标逻辑或目标模型进行运算。
以下为实施例:
节点电路可采用传统的CMOS电路,即互补的金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor)电路。一是因为制造忆阻器的纳米材料能很好的与CMOS工艺相兼容,其次,由于CMOS技术成熟,能够较容易的产生和控制脉冲。节点电路由计算模块、前馈模块、反馈模块组成,反馈模块和前馈模块受全局时钟信号控制。
节点电路计算模块如图6所示,运算放大器601与电阻并联形成求和放大器,求和放大器的输入端与节点输入端相连,输出端与比较器602的输入端相连,比较器的另一输入端与代表节点阈值的固定电压相连,比较器的输出端与脉冲发生器603的输入端相连,脉冲发生器的输出端与计算模块输出端相连。节点阈值电压为0.8V,如果脉冲发生器接收到脉冲信号,则输出一个激励脉冲信号,其宽度为0.2秒幅值为1V,否则输出零电压。
节点前馈模块如图7所示,前馈模块包括时分多路复用器701和脉冲发生器702,脉冲发生器的输入端与计算模块输出端相连,输出端与时分多路复用器反馈时隙信号输入端相连,时分多路复用器前馈时隙输入端与计算模块输出端相连,时分多路复用器的控制端接收全局时钟信号,输出端与节点输出纳米线相连。脉冲发生器702输入端接收到脉冲信号,会产生宽度为0.4秒的幅值为0.8V的正向脉冲。
节点反馈模块结构如图8所示,反馈模块包括时分多路复用器801和脉冲发生器802,脉冲发生器输入端与计算模块输出端相连,输出端与时分多路复用器反馈信号输入端相连,时分多路复用器前馈信号输入端接地,时分多路复用器控制端接收全局时钟信号,输出端与输入纳米线相连。脉冲发生器802输入端接收到脉冲信号,会产生宽度为0.4秒的脉冲信号,这个脉冲信号由两个连续的方向相反的脉冲组成,负向脉冲宽度为0.2秒,幅值为-0.8V,紧接一个正向脉冲,脉冲宽度为0.2秒,幅值为1.5V。
当输入数据为“0”时,代表数据“0”的信号为零电压,当输入数据为“1”时,代表数据“1”的信号为一个宽度为0.2秒、幅值为1V的脉冲信号。全局时钟信号频率为1赫兹,全局时钟一帧持续时长为1秒,包括两个时隙,其中第一个时隙为前馈时隙,长度为0.5秒,第二个时隙为反馈时隙长度为0.5秒。前馈模块和反馈模块受全局时钟控制,在全局时钟前馈时隙,时分多路复用器将前馈信号输入端输入信号为输出,在全局时钟反馈时隙,时分多路复用器将反馈信号输入端输入信号作为输出。
一个包含输入层和输出层的人工神经网络,如图2所示,输入层节点电路纵向排列,其输入输出纳米线相互平行;输出层节点电路横向排列,其输入输出纳米线相互平行。输入层节点输出纳米线和输出层节点输入纳米线横纵交错,在纳米线交叉点处,忆阻器正向端连接输入层节点输出纳米线,忆阻器负向端连接输出层输入纳米线。忆阻器正向阈值电压为1.2V,负向阈值电压为-1.2V。当忆阻器正向端与负向端电压差大于1.2V时,忆阻器阻调整为低阻态,阻值分布在50至100欧姆之间;当忆阻器正向端与负向端电压差小于-1.2V,忆阻器调整为高阻态,阻值分布在50K至100K欧姆之间。忆阻器将根据其两端的电压差自动调整电阻值。前馈时隙,输入层节点接受输入信号,处理后传递给输出层,输出层节点接受信号后,对信号进行处理,得出输出结果并输出。反馈时隙,当一个忆阻器连接的输入层节点输出兴奋前馈信号且输出层节点输出兴奋反馈信号时,则忆阻器两端电压达到1.8V,超过忆阻器正向阈值电压,忆阻器调整到低阻态;当一个忆阻器连接的输入层节点输出静息前馈信号且输出层节点输出兴奋反馈信号是,则忆阻器两端电压达到-1.5V,超过忆阻器负向阈值电压,忆阻器调整到高阻态。
经过多个反馈时隙,所述反馈型人工神经网络收敛。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种反馈型人工神经网络训练方法,其特征在于,在人工神经网络反馈训练阶段,根据上节点的前馈信号和下节点的反馈信号调整连接该两节点的神经突触权重,具体步骤如下:
(1)人工神经网络各节点接收输入信号;
(2)人工神经网络各节点根据激励函数对输入信号进行计算;
(3)人工神经网络各节点将激励函数计算结果与节点兴奋阈值比较,当计算结果高于或等于节点兴奋阈值时,表明该节点产生神经兴奋,则节点输出兴奋前馈信号和兴奋反馈信号,反之,表明该节点处于静息状态,则节点输出静息前馈信号和静息反馈信号;
(4)神经突触接收其上节点的前馈信号和其下节点的反馈信号;
(5)当神经突触同时接收到来自上节点的兴奋前馈信号和来自下节点的兴奋反馈信号,表明该上节点与下节点关系紧密,则将突触权重调整到最大值,当神经突触同时接收到来自上节点的静息前馈信号和来自下节点的兴奋反馈信号,表明该上节点与下节点关系松散,则将突触权重调整到最小值。
2.一种反馈型人工神经网络,包括至少两层节点,相邻的两层中上一层节点的输出端与下一层节点的输入端通过神经突触相连;前馈阶段,所述反馈型人工神经网络输出计算结果,反馈阶段,所述反馈型人工神经网络调整神经突触权重,其特征在于,所述人工神经网络的各节点包括:计算模块、前馈模块和反馈模块,其中:
计算模块,其输入端连接本节点输入端,输出端连接前馈模块输入端和反馈模块输入端,用于接收节点输入信号,根据激励函数对输入信号进行计算,并将计算结果与节点阈值电压比较,当计算结果高于或等于阈值电压时,则输出一个表明节点兴奋的激励脉冲信号,否则输出表明节点静息的零电压;
前馈模块,其输入端连接计算模块输出端,输出端连接本节点输出端,受全局时钟信号控制,在全局时钟信号表明处于前馈阶段时,用于将计算模块输出信号输出到本节点输出端,在全局时钟信号表明处于反馈阶段时,若接收到计算模块激励脉冲信号,则产生前馈脉冲信号并输出到本节点输出端,否则输出零电压到本节点输出端;
反馈模块,其输入端连接计算模块输出端,输出端连接本节点输入端,受全局时钟信号控制,在全局时钟信号表明处于前馈阶段时,用于输出零电压到本节点输入端,在全局时钟信号表明处于反馈阶段,若接收到计算模块激励脉冲时,则产生反馈脉冲信号并输出到本节点输入端,否则输出零电压到本节点输入端;
神经突触,其两端分别连接上节点输出端和下节点输入端,在前馈阶段,神经突触用于以当前权重将上节点输出端的信号传送给下节点输入端;在反馈阶段,神经突触用于根据上节点输出端前馈信号和下节点输入端反馈信号自动调整突触权重,其过程为:当上节点输出端信号为前馈脉冲且下节点输入端信号为反馈脉冲时,将突触权重调整到最大值,当上节点输出端信号为零电压而下节点输入端信号为反馈脉冲信号时,将突触权重调整到最小值。
3.如权利要求2所述的反馈型人工神经网络,其特征在于,所述神经突触采用忆阻器,忆阻器的正向端与上节点输出端相连,忆阻器的反向端与下节点输入端相连。
4.如权利要求2所述的反馈型人工神经网络,其特征在于,所述全局时钟信号以输入脉冲周期为帧,一帧分为两个时隙,第一个时隙为前馈时隙,其对应所述反馈型人工神经网络的前馈阶段,第二个时隙为反馈时隙,其对应所述反馈型人工神经网络的反馈阶段。
5.如权利要求2所述的反馈型人工神经网络,其特征在于,所述节点阈值电压低于神经突触忆阻器正向阈值电压。
6.如权利要求5所述的反馈型人工神经网络,其特征在于,所述节点阈值电压为神经突触忆阻器正向阈值电压的2/3。
7.如权利要求2或3或4或5或6所述的反馈型人工神经网络,其特征在于,所述节点输入信号为零电压或一个脉冲信号,零电压代表数据“0”,脉冲信号代表数据“1”,代表数据“1”的脉冲信号为一个正向脉冲,其脉冲宽度为一个单位宽度,脉冲幅值高于节点阈值电压低于神经突触忆阻器正向阈值电压。
8.如权利要求2或3或4或5或6所述的反馈型人工神经网络,其特征在于,所述节点前馈模块在反馈阶段产生的前馈脉冲信号为一个正向脉冲,其脉冲宽度为两个单位宽度,脉冲幅值在神经突触忆阻器正向阈值电压的一半到正向阈值电压之间。
9.如权利要求2或3或4或5或6所述的反馈型人工神经网络,其特征在于,所述节点反馈模块反馈阶段产生的反馈脉冲信号,由两个连续的脉冲信号组成,第一个脉冲信号为负向脉冲,其脉冲宽度为一个单位宽度,脉冲幅值在神经突触忆阻器负向阈值电压的一半到负向阈值电压之间,第二个脉冲信号为正向脉冲,其脉冲宽度为一个单位宽度,脉冲幅值在神经突触忆阻器正向阈值电压到正向阈值电压1.5倍之间。
CN201310358885.8A 2013-08-16 2013-08-16 一种反馈型人工神经网络训练方法及计算系统 Expired - Fee Related CN103455843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310358885.8A CN103455843B (zh) 2013-08-16 2013-08-16 一种反馈型人工神经网络训练方法及计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310358885.8A CN103455843B (zh) 2013-08-16 2013-08-16 一种反馈型人工神经网络训练方法及计算系统

Publications (2)

Publication Number Publication Date
CN103455843A CN103455843A (zh) 2013-12-18
CN103455843B true CN103455843B (zh) 2016-03-02

Family

ID=49738182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310358885.8A Expired - Fee Related CN103455843B (zh) 2013-08-16 2013-08-16 一种反馈型人工神经网络训练方法及计算系统

Country Status (1)

Country Link
CN (1) CN103455843B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154228A (zh) * 2016-12-28 2018-06-12 上海寒武纪信息科技有限公司 一种人工神经网络计算装置和方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810497B (zh) * 2014-01-26 2017-04-19 华中科技大学 一种基于忆阻器的图像识别系统及方法
CN105373829B (zh) * 2014-09-02 2018-05-04 北京大学 一种全连接神经网络结构
EP3035249B1 (en) * 2014-12-19 2019-11-27 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks
CN104779950B (zh) * 2015-05-05 2017-08-08 西南大学 基于忆阻交叉架构的图片均值学习电路
CN107210064B (zh) 2015-06-02 2020-02-14 华为技术有限公司 一种信号处理电路
CN105701541A (zh) * 2016-01-13 2016-06-22 哈尔滨工业大学深圳研究生院 一种基于忆阻器脉冲神经网络的电路结构
EP3208750A1 (en) 2016-02-22 2017-08-23 Universität Zürich An analogue electronic deep neural network
CN107194462B (zh) * 2016-03-15 2020-05-19 清华大学 三值神经网络突触阵列及利用其的神经形态计算网络系统
CN107346449B (zh) * 2016-05-04 2020-05-22 清华大学 可同时计算和编程的神经形态电路
AU2017348380A1 (en) * 2016-10-27 2019-05-16 University Of Florida Research Foundation, Inc. Learning algorithms for oscillatory memristive neuromorphic circuits
US11341408B2 (en) * 2016-10-27 2022-05-24 University Of Florida Research Foundation, Inc. Memristive learning for neuromorphic circuits
CN106934457B (zh) * 2017-03-08 2019-12-06 杭州领芯电子有限公司 一种可灵活时分复用的脉冲神经元实现架构
CN108665061B (zh) * 2017-03-28 2021-06-15 华为技术有限公司 数据处理装置和用于卷积计算的计算设备
US11222255B2 (en) * 2017-08-17 2022-01-11 Samsung Electronics Co., Ltd. Neuromorphic processing apparatus
US20190065935A1 (en) * 2017-08-30 2019-02-28 International Business Machines Corporation Computational method for feedback in a hierarchical neural network
CN107480780A (zh) * 2017-09-03 2017-12-15 胡明建 一种多阀值多函数多择输出人工神经元的设计方法
CN107563499A (zh) * 2017-09-10 2018-01-09 胡明建 一种可编码多阀值多函数人工神经元的设计方法
CN107609643A (zh) * 2017-09-18 2018-01-19 胡明建 一种双控植入择端输出人工神经元的设计方法
CN107491810A (zh) * 2017-09-23 2017-12-19 胡明建 一种多阀值反馈人工神经元的设计方法
CN107563505A (zh) * 2017-09-24 2018-01-09 胡明建 一种外控植入反馈人工神经元的设计方法
CN107578097A (zh) * 2017-09-25 2018-01-12 胡明建 一种多阀值多函数反馈人工神经元的设计方法
CN107609636A (zh) * 2017-09-26 2018-01-19 胡明建 一种多函数对应输出反馈功能人工神经元的设计方法
CN107633300A (zh) * 2017-09-28 2018-01-26 胡明建 一种分级电位式人工神经元的设计方法
CN107657315A (zh) * 2017-09-30 2018-02-02 胡明建 一种分级电位式择端输出人工神经元的设计方法
CN107609640A (zh) * 2017-10-01 2018-01-19 胡明建 一种阀值择端分级电位式人工神经元的设计方法
CN107590536A (zh) * 2017-10-02 2018-01-16 胡明建 一种分级电位式择端反馈人工神经元的设计方法
CN107527089A (zh) * 2017-10-10 2017-12-29 胡明建 一种以时间采压计数作为识别人工神经元的设计方法
CN107742153B (zh) * 2017-10-20 2020-02-21 华中科技大学 一种基于忆阻器的具有稳态可塑性的神经元电路
US11348002B2 (en) * 2017-10-24 2022-05-31 International Business Machines Corporation Training of artificial neural networks
CN108009640B (zh) * 2017-12-25 2020-04-28 清华大学 基于忆阻器的神经网络的训练装置及其训练方法
CN108416391B (zh) * 2018-03-16 2020-04-24 重庆大学 基于视觉皮层处理机制及脉冲监督学习的图像分类方法
CN109002647B (zh) * 2018-08-17 2019-06-07 郑州轻工业学院 一种具有延时学习功能的忆阻联想记忆神经网络电路
CN109800729B (zh) * 2019-01-28 2020-12-08 清华大学 信号处理装置及信号处理方法
CN110213165B (zh) * 2019-06-05 2021-04-13 北京灵汐科技有限公司 一种异构协同系统及其通信方法
CN113311702B (zh) * 2021-05-06 2022-06-21 清华大学 一种基于Master-Slave神经元的人工神经网络控制器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1623169A (zh) * 2002-01-22 2005-06-01 皇家飞利浦电子股份有限公司 具有通过学习率的非单调变化改进性能的自组织特征映射
CN101556458A (zh) * 2009-05-19 2009-10-14 江汉大学 自来水混凝投矾自动化控制算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1623169A (zh) * 2002-01-22 2005-06-01 皇家飞利浦电子股份有限公司 具有通过学习率的非单调变化改进性能的自组织特征映射
CN101556458A (zh) * 2009-05-19 2009-10-14 江汉大学 自来水混凝投矾自动化控制算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于反馈式人工神经网络的优化算法及其应用研究;陈科等;《中国机械工程》;20041115;第15卷(第21期);第1932页-1937页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154228A (zh) * 2016-12-28 2018-06-12 上海寒武纪信息科技有限公司 一种人工神经网络计算装置和方法

Also Published As

Publication number Publication date
CN103455843A (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
CN103455843B (zh) 一种反馈型人工神经网络训练方法及计算系统
Hunsberger et al. Spiking deep networks with LIF neurons
US8975935B1 (en) Analog pulse delay circuit with multiple output potential
Liu et al. Accurate prediction scheme of water quality in smart mariculture with deep Bi-S-SRU learning network
Afifi et al. Implementation of biologically plausible spiking neural network models on the memristor crossbar-based CMOS/nano circuits
US8930291B1 (en) Cortical neuromorphic network, system and method
US8682822B2 (en) Electronic learning synapse with spike-timing dependent plasticity using memory-switching elements
CN105224986A (zh) 基于忆阻器件的深度神经网络系统
Serrano-Gotarredona et al. A proposal for hybrid memristor-CMOS spiking neuromorphic learning systems
Chen et al. Associate learning and correcting in a memristive neural network
EP3121767A1 (en) Methods and systems for implementing deep spiking neural networks
US20140188771A1 (en) Neuromorphic and synaptronic spiking neural network crossbar circuits with synaptic weights learned using a one-to-one correspondence with a simulation
KR20210127133A (ko) 탄력적인 뉴럴 네트워크
Linares-Barranco et al. Exploiting memristance in adaptive asynchronous spiking neuromorphic nanotechnology systems
KR20140141778A (ko) Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템
CN109447250A (zh) 一种基于忆阻器中电池效应的人工神经元
CN210627259U (zh) 实现液体状态机的脉冲神经网络数模混合电路系统
WO2022078334A1 (zh) 利用神经元模型及网络处理信号的处理方法、介质、设备
CA2921831A1 (en) Methods and apparatus for implementation of group tags for neural models
DE112019005119T5 (de) Abgleichtechniken zum angleichen des symmetriepunktes als null-gewichtungspunkt in analogen kreuzungspunktanordnungen
KR102366783B1 (ko) 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법
CN110232443B (zh) 实现液体状态机的脉冲神经网络数模混合电路系统
Douglas et al. Hybrid analog-digital architectures for neuromorphic systems
CN105373829A (zh) 一种全连接神经网络结构
Indiveri Synaptic plasticity and spike-based computation in VLSI networks of integrate-and-fire neurons

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Chen Jincai

Inventor after: Zhang Han

Inventor after: Zhou Xi

Inventor after: Zhou Gongye

Inventor after: Lu Ping

Inventor after: Jiu Xiangshui

Inventor before: Chen Jincai

Inventor before: Zhang Han

Inventor before: Zhou Xi

Inventor before: Zhou Gongye

Inventor before: Lu Ping

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: CHEN JINCAI ZHANG HAN ZHOU XI ZHOU GONGYE LU PING TO: CHEN JINCAI ZHANG HAN ZHOU XI ZHOU GONGYE LU PING MIAO XIANGSHUI

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160302

Termination date: 20180816

CF01 Termination of patent right due to non-payment of annual fee