CN106815638B - 输入权重拓展的神经元信息处理方法和系统 - Google Patents
输入权重拓展的神经元信息处理方法和系统 Download PDFInfo
- Publication number
- CN106815638B CN106815638B CN201710042090.4A CN201710042090A CN106815638B CN 106815638 B CN106815638 B CN 106815638B CN 201710042090 A CN201710042090 A CN 201710042090A CN 106815638 B CN106815638 B CN 106815638B
- Authority
- CN
- China
- Prior art keywords
- neuron
- cooperative
- information
- neurons
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Feedback Control In General (AREA)
Abstract
本发明涉及一种输入权重拓展的神经元信息处理方法和系统,所述方法包括:将预设数量的连续的神经元确定为协同组,将最后一个神经元确定为有效神经元,将剩余神经元确定为协同神经元;所述协同组中的第一个协同神经元,根据接收的前端神经元信息,获取第一个协同神经元的横向累加中间信息;所述协同组中后续的各协同神经元,依次获取所述各协同神经元的横向累加中间信息,并将最后一个协同神经元的横向累加中间信息确定为横向累加信息;所述有效神经元根据接收的前端神经元信息、读取的所述有效神经元的当前神经元信息和所述横向累加信息,获取协同输出信息并输出所述协同输出信息。本发明拓展了输入权重类型,提高了神经网络的信息处理能力。
Description
技术领域
本发明涉及人工神经网络技术领域,特别是涉及输入权重拓展的神经元信息处理方法和系统。
背景技术
如今的人工神经网络研究绝大多数仍是在冯·诺依曼计算机软件并搭配高性能GPGPU(General Purpose Graphic Processing Units通用图形处理单元)平台中实现的,整个过程的硬件开销、能耗和信息处理速度都不容乐观。为此,近几年神经形态计算领域迅猛发展,即采用硬件电路直接构建神经网络从而模拟大脑的功能,试图实现大规模并行、低能耗、可支撑复杂模式学习的计算平台。
然而,传统的神经形态系统中,单个神经元权重存储器的物理空间的数量有限,在单个神经元的输入信号的数量大于所述物理空间的数量时,导致有的输入信号对应的权重信息只能利用现有的权重,对于某些对于参数较为敏感的神经网络来说,极大的影响了神经元的应用性能。
发明内容
本发明的实施例提供一种输入权重拓展的神经元信息处理方法和系统,可以扩展神经元的应用性能。
所述方法包括:
将预设数量的连续的神经元确定为协同组,将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元;
所述协同组中的第一个协同神经元,根据接收的前端神经元信息,获取第一个协同神经元的横向累加中间信息;
所述协同组中后续的各协同神经元,依次根据接收的前端神经元信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息,并将所述协同组中最后一个协同神经元的横向累加中间信息确定为横向累加信息;
所述有效神经元根据接收的前端神经元信息、读取的所述有效神经元的当前神经元信息和所述横向累加信息,获取协同输出信息;
所述有效神经元输出所述协同输出信息。
在其中一个实施例中,所述将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元,包括:
设置所述协同组内神经元的发放使能标识,所述发放使能标识包括允许发放数据或不允许发放数据,将所述有效神经元的发放使能标识设置为允许发放数据,并将所有所述协同神经元的发放使能标识设置为不允许发放数据。
在其中一个实施例中,所述前端神经元信息包括:前端神经元输出信息、前端神经元与当前神经元的连接权重索引;
所述协同组中的第一个协同神经元,根据接收的前端神经元信息,获取第一个协同神经元的横向累加中间信息,包括:
协同组中的第一个协同神经元,根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;
根据所述前端神经元与当前神经元的连接权重、所述前端神经元信息,获取第一个协同神经元的横向累加中间信息;
所述协同组中后续的各协同神经元,依次根据接收的前端神经元信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息,包括:
所述协同组中的后续协同神经元,依次根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;
根据所述前端神经元与当前神经元的连接权重、所述前端神经元信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息。
在其中一个实施例中,所述将预设数量的连续的神经元确定为协同组,将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元,包括:
将预设数量的连续的人工神经元确定为人工协同组,将所述人工协同组中最后一个人工神经元确定为人工有效神经元,将所述人工协同组中除所述人工有效神经元外的人工神经元确定为人工协同神经元;或
将预设数量的连续的脉冲神经元确定为脉冲协同组,将所述脉冲协同组中最后一个脉冲神经元确定为脉冲有效神经元,将所述脉冲协同组中除所述脉冲有效神经元外的脉冲神经元确定为脉冲协同神经元。
在其中一个实施例中,当所述协同组为脉冲协同组时,所述当前神经元信息包括历史膜电位信息;
在所述有效神经元输出所述协同输出信息的步骤之后,所述方法还包括:
更新所述脉冲有效神经元的所述历史膜电位信息。
在其中一个实施例中,通过将预设数量的连续的神经元确定为协同组,只将所述协同组中的最后一个神经元的信息进行输出,剩余神经元只将信息进行累加后迭加至后端的神经元,将协同组内的所有神经元等效于一个有效的节点,多个输入对应一个有效输出,可以充分利用所述多个输入的权重信息,打破了现有的神经元输入权重类型有限的缺点,提高了神经网络的信息处理能力。
在其中一个实施例中,通过设置发放使能标识,将神经元设置为允许发放数据或不允许发放数据,将预设数量的连续的神经元组成一个协同组,可根据需求灵活的组成协同组。
在其中一个实施例中,通过接收的前端神经元信息中的前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重后,用于计算横向累加中间信息,将一个协同组中的各协同神经元的权重信息进行了充分利用,并在有效神经元输出的协同输出信息中,将各协同神经元的权重信息进行了体现,相当于将有效神经元的权重信息进行了扩展,从而提高了神经网络的信息处理能力。
在其中一个实施例中,将预设数量的连续的人工神经元确定为人工协同组,或将预设数量的连续的脉冲神经元确定为脉冲协同组,在人工神经网络或脉冲神经网络中,都可以确定协同组,进行单个神经元输入权重的扩展,提高人工神经网络或脉冲神经网络的信息处理能力。
在其中一个实施例中,在脉冲协同组中,脉冲有效神经元输出协同输出信息后,将所述脉冲有效神经元的历史膜电位信息进行更新,以便整个协同组完成后续的信息处理,而脉冲协同神经元不更新历史膜电位信息,在后续的信息处理中,完成权重拓展的功能,通过脉冲协同组,提高整个脉冲神经网络的信息处理能力。
本发明还提供一种输入权重拓展的神经元信息处理系统,包括:
协同组确定模块,用于将预设数量的连续的神经元确定为协同组,将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元;
横向累加信息获取模块,用于所述协同组中后续的各协同神经元,依次根据接收的前端神经元信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息,并将所述协同组中最后一个协同神经元的横向累加中间信息确定为横向累加信息;
协同输出信息获取模块,用于所述有效神经元根据接收的前端神经元信息、读取的所述有效神经元的当前神经元信息和所述横向累加信息,获取协同输出信息;
协同输出信息输出模块,用于所述有效神经元输出所述协同输出信息。
在其中一个实施例中,所述协同组确定模块,用于设置所述协同组内神经元的发放使能标识,所述发放使能标识包括允许发放数据或不允许发放数据,将所述有效神经元的发放使能标识设置为允许发放数据,并将所有所述协同神经元的发放使能标识设置为不允许发放数据。
在其中一个实施例中,所述前端神经元信息包括:前端神经元输出信息、前端神经元与当前神经元的连接权重索引;
所述横向累加信息获取模块,用于协同组中的第一个协同神经元,根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;根据所述前端神经元与当前神经元的连接权重、所述前端神经元信息,获取第一个协同神经元的横向累加中间信息;所述协同组中的后续协同神经元,依次根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;根据所述前端神经元与当前神经元的连接权重、所述前端神经元信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息。
在其中一个实施例中,所述协同组确定模块,包括:
人工神经元确定单元,用于将预设数量的连续的人工神经元确定为人工协同组,将所述人工协同组中最后一个人工神经元确定为人工有效神经元,将所述人工协同组中除所述人工有效神经元外的人工神经元确定为人工协同神经元;或
脉冲神经元确定单元,用于将预设数量的连续的脉冲神经元确定为脉冲协同组,将所述脉冲协同组中最后一个脉冲神经元确定为脉冲有效神经元,将所述脉冲协同组中除所述脉冲有效神经元外的脉冲神经元确定为脉冲协同神经元。
在其中一个实施例中,当所述协同组为脉冲协同组时,所述当前神经元信息包括历史膜电位信息;所述系统还包括:历史膜电位更新模块,用于更新所述脉冲有效神经元的所述历史膜电位信息。
在其中一个实施例中,通过将预设数量的连续的神经元确定为协同组,只将所述协同组中的最后一个神经元的信息进行输出,剩余神经元只将信息进行累加后迭加至后端的神经元,将协同组内的所有神经元等效于一个有效的节点,多个输入对应一个有效输出,可以充分利用所述多个输入的权重信息,打破了现有的神经元输入权重类型有限的缺点,提高了神经网络的信息处理能力。
在其中一个实施例中,通过设置发放使能标识,将神经元设置为允许发放数据或不允许发放数据,将预设数量的连续的神经元组成一个协同组,可根据需求灵活的组成协同组。
在其中一个实施例中,通过接收的前端神经元信息中的前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重后,用于计算横向累加中间信息,将一个协同组中的各协同神经元的权重信息进行了充分利用,并在有效神经元输出的协同输出信息中,将各协同神经元的权重信息进行了体现,相当于将有效神经元的权重信息进行了扩展,从而提高了神经网络的信息处理能力。
在其中一个实施例中,将预设数量的连续的人工神经元确定为人工协同组,或将预设数量的连续的脉冲神经元确定为脉冲协同组,在人工神经网络或脉冲神经网络中,都可以确定协同组,进行单个神经元输入权重的扩展,提高人工神经网络或脉冲神经网络的信息处理能力。
在其中一个实施例中,在脉冲协同组中,脉冲有效神经元输出协同输出信息后,将所述脉冲有效神经元的历史膜电位信息进行更新,以便整个协同组完成后续的信息处理,而脉冲协同神经元不更新历史膜电位信息,在后续的信息处理中,完成权重拓展的功能,通过脉冲协同组,提高整个脉冲神经网络的信息处理能力。
附图说明
图1为一个实施例的输入权重拓展的神经元信息处理方法的流程示意图;
图2为另一个实施例的输入权重拓展的神经元信息处理方法的流程示意图;
图3为一个实施例的输入权重拓展的神经元信息处理系统的结构示意图;
图4为另一个实施例的输入权重拓展的神经元信息处理系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
图1为一个实施例的输入权重拓展的神经元信息处理方法的流程示意图,如图1所示的输入权重拓展的神经元信息处理方法包括:
步骤S100,将预设数量的连续的神经元确定为协同组,将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元。
具体的,所述预设数量,可以根据权重股拓展的需求灵活的设定。在设定好一个协同组后,整个协同组等效为一个有效的节点,协同组内连续的神经元中,只有最后一个神经元可以输出信息,所以将最后一个神经元确定为有效神经元,剩余的神经元用于协同工作,进行权重信息的拓展,而不进行数据的输出,所以确定为协同神经元,协同最后一个有效神经元进行信息的处理。
步骤S200,所述协同组中的第一个协同神经元,根据接收的前端神经元信息,获取第一个协同神经元的横向累加中间信息。
具体的,所述协同组中的第一个协同神经元,根据接收到的前端神经元信息获取到用于后续神经元累加的横向累加中间信息,不再读取自身的神经元信息,以及不再进行输出信息的计算。
步骤S300,所述协同组中后续的各协同神经元,依次根据接收的前端神经元信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息,并将所述协同组中最后一个协同神经元的横向累加中间信息确定为横向累加信息。
具体的,后续的协同神经元,在对接收到的前端神经元信息进行处理后,和前端协同神经元的横向累加中间信息一起,获取当前协同神经元的横向累加中间信息,即,协同组内的协同神经元,只对其接收到的前端神经元信息进行处理,并与协同组内的其它协同神经元的横向累加中间信息进行进一步的累加,直至最后一个协同神经元,最后一个协同神经元获取的横向累加中间信息确定为横向累加信息,用于后续的有效神经元的计算。
步骤S400,所述有效神经元根据接收的前端神经元信息、读取的所述有效神经元的当前神经元信息和所述横向累加信息,获取协同输出信息。
具体的,所述有效神经元,对接收到的前端神经元信息、读取当前神经元信息,和前端的所有的协同神经元计算得出的横向累加信息,进行计算后,获取最终用于输出的协同输出信息。
步骤S500,所述有效神经元输出所述协同输出信息。
在本实施例中,通过将预设数量的连续的神经元确定为协同组,只将所述协同组中的最后一个神经元的信息进行输出,剩余神经元只将信息进行累加后迭加至后端的神经元,将协同组内的所有神经元等效于一个有效的节点,多个输入组对应一个有效输出,可以充分利用所述多个输入组的权重信息,打破了现有单个神经元输入权重类型有限的缺点,提高了神经网络的信息处理能力。
在其中一个实施例中,设置所述协同组内神经元的发放使能标识,所述发放使能标识包括允许发放数据或不允许发放数据,将所述有效神经元的发放使能标识设置为允许发放数据,并将所有所述协同神经元的发放使能标识设置为不允许发放数据。
具体的,所述设置发放使能标识,用于将确定好的预设数量的连续的神经元设定为一个协同组,设定只有最后一个神经元可以输出信息。
在其中一个实施例中,通过设置发放使能标识,将神经元设置为允许发放数据或不允许发放数据,将预设数量的连续的神经元组成一个协同组,可根据需求灵活的组成协同组。
在其中一个实施例中,将预设数量的连续的人工神经元确定为人工协同组,将所述人工协同组中最后一个人工神经元确定为人工有效神经元,将所述人工协同组中除所述人工有效神经元外的人工神经元确定为人工协同神经元;或将预设数量的连续的脉冲神经元确定为脉冲协同组,将所述脉冲协同组中最后一个脉冲神经元确定为脉冲有效神经元,将所述脉冲协同组中除所述脉冲有效神经元外的脉冲神经元确定为脉冲协同神经元。
在本实施例中,将预设数量的连续的人工神经元确定为人工协同组,或将预设数量的连续的脉冲神经元确定为脉冲协同组,在人工神经网络或脉冲神经网络中,都可以确定协同组,进行单个神经元输入权重的扩展,提高人工神经网络或脉冲神经网络的信息处理能力。
当所述协同组为脉冲协同组时,所述当前神经元信息包括历史膜电位信息;在所述有效神经元输出所述协同输出信息的步骤之后,所述方法还包括:更新所述脉冲有效神经元的所述历史膜电位信息。
在本实施例中,在脉冲协同组中,脉冲有效神经元输出协同输出信息后,将所述脉冲有效神经元的历史膜电位信息进行更新,以便整个协同组完成后续的信息处理,而脉冲协同神经元不更新历史膜电位信息,在后续的信息处理中,完成权重拓展的功能,通过脉冲协同组,提高整个脉冲神经网络的信息处理能力。
图2为另一个实施例的输入权重拓展的神经元信息处理方法的流程示意图,如图2所示的输入权重拓展的神经元信息处理方法包括:
所述前端神经元信息包括:前端神经元输出信息、前端神经元与当前神经元的连接权重索引。
对于人工协同组,所述前端神经元信息包括:为前端人工神经元输出的膜电位信息,前端人工神经元与当前人工神经元的连接权重索引。
对于脉冲协同组,所述前端神经元信息包括:为前端脉冲神经元输出的脉冲尖端信息,前端脉冲神经元与当前脉冲神经元的连接权重索引。
步骤S100a,将预设数量的连续的神经元确定为协同组,将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元。
具体的,同步骤S100。
步骤S200a,协同组中的第一个协同神经元,根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;根据所述前端神经元与当前神经元的连接权重、所述前端神经元信息,获取第一个协同神经元的横向累加中间信息。
具体的,所述前端人工神经元与当前人工神经元的连接权重索引,是一个地址信息,当前神经元根据接收到的所述前端人工神经元与当前人工神经元的连接权重索引,在当前神经元内的存储器中,读取到前端人工神经元与当前人工神经元的连接权重,根据所述的连接权重信息,可以将前端神经元的输出信息,在参与当前神经元输出信息的计算过程中,更准确的反应出前端神经元的输出信息的权重。
当协同组为人工协同组时,所述前端神经元信息包括前端人工神经元输出的膜电位信息,根据所述前端人工神经元输出的膜电位信息,和读取到的前端神经元与当前神经元的连接权重,进行相乘后,获取第一个人工协同神经元的横向累加中间信息,并放入累加器中。
当协同组为脉冲协同组时,所述前端神经元信息包括前端脉冲神经元输出的脉冲尖端信息,根据所述前端脉冲神经元输出的脉冲尖端信息,和读取到的前端神经元与当前神经元的连接权重,进行相乘后,获取第一个脉冲协同神经元的横向累加中间信息,并放入累加器中。
步骤S300a,所述协同组中的后续协同神经元,依次根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;根据所述前端神经元与当前神经元的连接权重、所述前端神经元信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息,并将所述协同组中最后一个协同神经元的横向累加中间信息确定为横向累加信息。
具体的,协同组中的后续的协同神经元,分别将接收到的前端神经元输出信息和读取到的前端神经元与当前神经元的连接权重,按照预设的神经元模式进行计算,如进行相乘后,再与与之相连的前端的协同神经元的横向累加中间信息进行累加,获取当前协同神经元的横向累加中间信息。直至最后一个协同神经元获取到横向累加中间信息后,确认为横向累加信息。
步骤S400a,所述有效神经元根据接收的前端神经元信息、读取的所述有效神经元的当前神经元信息和所述横向累加信息,获取协同输出信息。
具体的,当协同组为人工协同组时,所述当前神经元信息包括当前人工神经元偏置信息。所述有效神经元根据接收的前端神经元信息、读取的所述有效神经元的当前神经元信息和所述横向累加信息,获取协同输出信息,包括:根据所述前端人工神经元输出的膜电位信息、所述前端神经元与当前神经元的连接权重、所述当前人工神经元偏置信息,通过预设的人工神经元激活函数,计算所述人工有效神经元的协同输出信息。
当协同组为脉冲神经元时,所述当前神经元信息包括历史膜电位信息和膜电位泄漏信息。所述有效神经元根据接收的前端神经元信息、读取的所述有效神经元的当前神经元信息和所述横向累加信息,获取协同输出信息,包括:根据所述前端脉冲神经元输出的脉冲尖端信息、所述前端神经元与当前神经元的连接权重、所述历史膜电位信息、所述膜电位泄露信息,通过脉冲神经元计算模型,计算所述脉冲有效神经元的协同输出信息。
步骤S500a,所述有效神经元输出所述协同输出信息。
在本实施例中,通过接收的前端神经元信息中的前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重后,用于计算横向累加中间信息,将一个协同组中的各协同神经元的权重信息进行了充分利用,并在有效神经元输出的协同输出信息中,将各协同神经元的权重信息进行了体现,相当于将有效神经元的权重信息进行了扩展,从而提高了神经网络的信息处理能力。
图3为一个实施例的输入权重拓展的神经元信息处理系统的结构示意图,如图3所示的输入权重拓展的神经元信息处理系统,包括:
协同组确定模块100,用于将预设数量的连续的神经元确定为协同组,将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元;用于设置所述协同组内神经元的发放使能标识,所述发放使能标识包括允许发放数据或不允许发放数据,将所述有效神经元的发放使能标识设置为允许发放数据,并将所有所述协同神经元的发放使能标识设置为不允许发放数据。包括:人工神经元确定单元,用于将预设数量的连续的人工神经元确定为人工协同组,将所述人工协同组中最后一个人工神经元确定为人工有效神经元,将所述人工协同组中除所述人工有效神经元外的人工神经元确定为人工协同神经元;或脉冲神经元确定单元,用于将预设数量的连续的脉冲神经元确定为脉冲协同组,将所述脉冲协同组中最后一个脉冲神经元确定为脉冲有效神经元,将所述脉冲协同组中除所述脉冲有效神经元外的脉冲神经元确定为脉冲协同神经元。
横向累加信息获取模块200,用于所述协同组中的第一个协同神经元,根据接收的前端神经元信息,获取第一个协同神经元的横向累加中间信息;所述协同组中后续的各协同神经元,依次根据接收的前端神经元信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息,并将所述协同组中最后一个协同神经元的横向累加中间信息确定为横向累加信息,并将所述协同组中最后一个协同神经元的横向累加中间信息确定为横向累加信息;所述前端神经元信息包括:前端神经元输出信息、前端神经元与当前神经元的连接权重索引;所述横向累加信息获取模块200,用于协同组中的第一个协同神经元,根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;根据所述前端神经元与当前神经元的连接权重、所述前端神经元信息,获取第一个协同神经元的横向累加中间信息;所述协同组中的后续协同神经元,依次根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;根据所述前端神经元与当前神经元的连接权重、所述前端神经元信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息。当所述协同组为脉冲协同组时,所述当前神经元信息包括历史膜电位信息。
具体的,所述横向累加信息获取模块200,在利用具体的元器件进行硬件电路的实现时,所述协同组内的各协同神经元生成的横向累加中间信息,通过共享寄存器传递给下一个协同神经元或有效神经元用于膜电位累加,这种反馈加法的方式可用累加器实现。更具体的,协同神经元获取前端协同神经元的横向累加中间信息,是通过读取共享寄存器实现的。有效神经元输出信息之后,需要将共享寄存器清0,以等待下一次或下一个协同组正常工作。在进行神经网络电路设计时,为简化电路结构,可对协同组内的各协同神经元与最后的有效神经元的输入电路电路结构相同,即,与有效神经元相同,各协同神经元,也具有读取当前神经元信息的输入电路,在利用软件的设计方式,设置各协同神经元的当前神经元输入信息输入为0即可。
协同输出信息获取模块300,用于所述有效神经元根据接收的前端神经元信息、读取的所述有效神经元的当前神经元信息和所述横向累加信息,获取协同输出信息。
协同输出信息输出模块400,用于所述有效神经元输出所述协同输出信息。
在本实施例中,通过将预设数量的连续的神经元确定为协同组,只将所述协同组中的最后一个神经元的信息进行输出,剩余神经元只将信息进行累加后迭加至后端的神经元,将协同组内的所有神经元等效于一个有效的节点,多个输入对应一个有效输出,可以充分利用所述多个输入的权重信息,打破了现有的神经元输入权重类型有限的缺点,提高了神经网络的信息处理能力。通过设置发放使能标识,将神经元设置为允许发放数据或不允许发放数据,将预设数量的连续的神经元组成一个协同组,可根据需求灵活的组成协同组。通过接收的前端神经元信息中的前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重后,用于计算横向累加中间信息,将一个协同组中的各协同神经元的权重信息进行了充分利用,并在有效神经元输出的协同输出信息中,将各协同神经元的权重信息进行了体现,相当于将有效神经元的权重信息进行了扩展,从而提高了神经网络的信息处理能力。将预设数量的连续的人工神经元确定为人工协同组,或将预设数量的连续的脉冲神经元确定为脉冲协同组,在人工神经网络或脉冲神经网络中,都可以确定协同组,进行单个神经元输入权重的扩展,提高人工神经网络或脉冲神经网络的信息处理能力。
图4为另一个实施例的输入权重拓展的神经元信息处理系统的结构示意图,如图4所示的输入权重拓展的神经元信息处理系统,包括:
协同组确定模块100,用于将预设数量的连续的神经元确定为协同组,将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元。
横向累加信息获取模块200,用于所述协同组中的第一个协同神经元,根据接收的前端神经元信息,获取第一个协同神经元的横向累加中间信息;所述协同组中后续的各协同神经元,依次根据接收的前端神经元信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息,并将所述协同组中最后一个协同神经元的横向累加中间信息确定为横向累加信息。
协同输出信息获取模块300,用于所述有效神经元根据接收的前端神经元信息、读取的所述有效神经元的当前神经元信息和所述横向累加信息,获取协同输出信息。
协同输出信息输出模块400,用于所述有效神经元输出所述协同输出信息。
历史膜电位更新模块500,用于更新所述脉冲有效神经元的所述历史膜电位信息。
在本实施例中,在脉冲协同组中,脉冲有效神经元输出协同输出信息后,将所述脉冲有效神经元的历史膜电位信息进行更新,以便整个协同组完成后续的信息处理,而脉冲协同神经元不更新历史膜电位信息,在后续的信息处理中,完成权重拓展的功能,通过脉冲协同组,提高整个脉冲神经网络的信息处理能力。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种输入权重拓展的神经元信息处理方法,其特征在于,所述方法包括:
将预设数量的连续的神经元确定为协同组,将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元;
控制所述协同组中的第一个协同神经元,根据接收的前端神经元发送的信息,获取第一个协同神经元的横向累加中间信息,并将第一个协同神经元的横向累加中间信息存储在共享存储器中;
控制所述协同组中后续的各协同神经元,依次根据接收的前端神经元发送的信息,和通过读取共享寄存器获取的前端协同神经元的横向累加中间信息确定所述各协同神经元自身的横向累加中间信息,并将所述协同组中最后一个协同神经元的横向累加中间信息确定为横向累加信息存储在共享寄存器中;
控制所述有效神经元根据接收的前端神经元发送的信息和读取的所述有效神经元的当前神经元信息,以及通过读取共享寄存器获取的所述横向累加信息,获取协同输出信息;
控制所述有效神经元输出所述协同输出信息;
其中,各所述协同神经元和所述有效神经元的输入电路电路结构相同。
2.根据权利要求1所述的输入权重拓展的神经元信息处理方法,其特征在于,所述将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元,包括:
设置所述协同组内神经元的发放使能标识,所述发放使能标识包括允许发放数据或不允许发放数据,将所述有效神经元的发放使能标识设置为允许发放数据,并将所有所述协同神经元的发放使能标识设置为不允许发放数据。
3.根据权利要求1所述的输入权重拓展的神经元信息处理方法,其特征在于:
所述前端神经元发送的信息包括:前端神经元的输出信息、前端神经元与当前神经元的连接权重索引;
所述协同组中的第一个协同神经元,根据接收的前端神经元发送的信息,获取第一个协同神经元的横向累加中间信息,包括:
协同组中的第一个协同神经元,根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;
根据所述前端神经元与当前神经元的连接权重、所述前端神经元发送的信息,获取第一个协同神经元的横向累加中间信息;
所述协同组中后续的各协同神经元,依次根据接收的前端神经元发送的信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息,包括:
所述协同组中的后续协同神经元,依次根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;
根据所述前端神经元与当前神经元的连接权重、所述前端神经元发送的信息,和前端协同神经元的横向累加中间信息,获取所述各协同神经元的横向累加中间信息。
4.根据权利要求1所述的输入权重拓展的神经元信息处理方法,其特征在于,所述将预设数量的连续的神经元确定为协同组,将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元,包括:
将预设数量的连续的人工神经元确定为人工协同组,将所述人工协同组中最后一个人工神经元确定为人工有效神经元,将所述人工协同组中除所述人工有效神经元外的人工神经元确定为人工协同神经元;或
将预设数量的连续的脉冲神经元确定为脉冲协同组,将所述脉冲协同组中最后一个脉冲神经元确定为脉冲有效神经元,将所述脉冲协同组中除所述脉冲有效神经元外的脉冲神经元确定为脉冲协同神经元。
5.根据权利要求4所述的输入权重拓展的神经元信息处理方法,其特征在于:
当所述协同组为脉冲协同组时,所述当前神经元信息包括历史膜电位信息;
在所述有效神经元输出所述协同输出信息的步骤之后,所述方法还包括:
更新所述脉冲有效神经元的所述历史膜电位信息。
6.一种输入权重拓展的神经元信息处理系统,其特征在于,包括:
协同组确定模块,用于将预设数量的连续的神经元确定为协同组,将所述协同组中最后一个神经元确定为有效神经元,将所述协同组中除所述有效神经元外的神经元确定为协同神经元;
横向累加信息获取模块,用于控制所述协同组中的第一个协同神经元,根据接收的前端神经元发送的信息,获取第一个协同神经元的横向累加中间信息,并将第一个协同神经元的横向累加中间信息存储在共享存储器中;并控制所述协同组中后续的各协同神经元,依次根据接收的前端神经元发送的信息,和通过读取共享寄存器获取的前端协同神经元的横向累加中间信息,确定所述各协同神经元自身的横向累加中间信息,并将所述协同组中最后一个协同神经元的横向累加中间信息确定为横向累加信息;
协同输出信息获取模块,用于控制所述有效神经元根据接收的前端神经元发送的信息、读取的所述有效神经元的当前神经元信息和所述横向累加信息,获取协同输出信息;
协同输出信息输出模块,用于控制所述有效神经元输出所述协同输出信息;
其中,各所述协同神经元和所述有效神经元的输入电路电路结构相同。
7.根据权利要求6所述的输入权重拓展的神经元信息处理系统,其特征在于:
所述协同组确定模块,用于设置所述协同组内神经元的发放使能标识,所述发放使能标识包括允许发放数据或不允许发放数据,将所述有效神经元的发放使能标识设置为允许发放数据,并将所有所述协同神经元的发放使能标识设置为不允许发放数据。
8.根据权利要求6所述的输入权重拓展的神经元信息处理系统,其特征在于:
所述前端神经元发送的信息包括:前端神经元输出信息、前端神经元与当前神经元的连接权重索引;
所述横向累加信息获取模块,用于协同组中的第一个协同神经元,根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;根据所述前端神经元与当前神经元的连接权重、所述前端神经元发送的信息,获取第一个协同神经元的横向累加中间信息;所述协同组中的后续协同神经元,依次根据所述前端神经元与当前神经元的连接权重索引,读取前端神经元与当前神经元的连接权重;根据所述前端神经元与当前神经元的连接权重、所述前端神经元发送的信息,和前端协同神经元的横向累加中间信息,确定所述各协同神经元自身的横向累加中间信息。
9.根据权利要求6所述的输入权重拓展的神经元信息处理系统,其特征在于,所述协同组确定模块,包括:
人工神经元确定单元,用于将预设数量的连续的人工神经元确定为人工协同组,将所述人工协同组中最后一个人工神经元确定为人工有效神经元,将所述人工协同组中除所述人工有效神经元外的人工神经元确定为人工协同神经元;或
脉冲神经元确定单元,用于将预设数量的连续的脉冲神经元确定为脉冲协同组,将所述脉冲协同组中最后一个脉冲神经元确定为脉冲有效神经元,将所述脉冲协同组中除所述脉冲有效神经元外的脉冲神经元确定为脉冲协同神经元。
10.根据权利要求9所述的输入权重拓展的神经元信息处理系统,其特征在于:
当所述协同组为脉冲协同组时,所述当前神经元信息包括历史膜电位信息;
所述系统还包括:
历史膜电位更新模块,用于更新所述脉冲有效神经元的所述历史膜电位信息。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710042090.4A CN106815638B (zh) | 2017-01-20 | 2017-01-20 | 输入权重拓展的神经元信息处理方法和系统 |
PCT/CN2017/114659 WO2018133567A1 (zh) | 2017-01-20 | 2017-12-05 | 神经元权重信息处理方法和系统、神经元信息处理方法和系统及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710042090.4A CN106815638B (zh) | 2017-01-20 | 2017-01-20 | 输入权重拓展的神经元信息处理方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106815638A CN106815638A (zh) | 2017-06-09 |
CN106815638B true CN106815638B (zh) | 2020-03-27 |
Family
ID=59111286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710042090.4A Active CN106815638B (zh) | 2017-01-20 | 2017-01-20 | 输入权重拓展的神经元信息处理方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106815638B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018133567A1 (zh) * | 2017-01-20 | 2018-07-26 | 清华大学 | 神经元权重信息处理方法和系统、神经元信息处理方法和系统及计算机设备 |
CN109491956B (zh) * | 2018-11-09 | 2021-04-23 | 北京灵汐科技有限公司 | 一种异构协同计算系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5371834A (en) * | 1992-08-28 | 1994-12-06 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Adaptive neuron model--an architecture for the rapid learning of nonlinear topological transformations |
CN1870017A (zh) * | 2005-05-24 | 2006-11-29 | 中国科学院半导体研究所 | 时变容错域的感知联想记忆模型 |
CN101527010A (zh) * | 2008-03-06 | 2009-09-09 | 上海理工大学 | 人工神经网络算法的硬件实现方法及其系统 |
CN105095966A (zh) * | 2015-07-16 | 2015-11-25 | 清华大学 | 人工神经网络和脉冲神经网络的混合计算系统 |
CN106056211A (zh) * | 2016-05-25 | 2016-10-26 | 清华大学 | 神经元计算单元、神经元计算模块及人工神经网络计算核 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8924322B2 (en) * | 2012-06-15 | 2014-12-30 | International Business Machines Corporation | Multi-processor cortical simulations with reciprocal connections with shared weights |
-
2017
- 2017-01-20 CN CN201710042090.4A patent/CN106815638B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5371834A (en) * | 1992-08-28 | 1994-12-06 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Adaptive neuron model--an architecture for the rapid learning of nonlinear topological transformations |
CN1870017A (zh) * | 2005-05-24 | 2006-11-29 | 中国科学院半导体研究所 | 时变容错域的感知联想记忆模型 |
CN101527010A (zh) * | 2008-03-06 | 2009-09-09 | 上海理工大学 | 人工神经网络算法的硬件实现方法及其系统 |
CN105095966A (zh) * | 2015-07-16 | 2015-11-25 | 清华大学 | 人工神经网络和脉冲神经网络的混合计算系统 |
CN106056211A (zh) * | 2016-05-25 | 2016-10-26 | 清华大学 | 神经元计算单元、神经元计算模块及人工神经网络计算核 |
Non-Patent Citations (1)
Title |
---|
Hierarchical encoding of human working memory;guoqi li et al.;《IEEE》;20151231;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN106815638A (zh) | 2017-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018133568A1 (zh) | 复合模式神经元信息处理方法、系统及计算机设备 | |
US9542643B2 (en) | Efficient hardware implementation of spiking networks | |
CN106845632B (zh) | 脉冲神经网络信息转换为人工神经网络信息的方法和系统 | |
CN105637541B (zh) | 用于神经模拟器的共享存储器架构 | |
CN106875003B (zh) | 自适应泄漏值神经元信息处理方法和系统 | |
CN111860828B (zh) | 一种神经网络的训练方法、存储介质和设备 | |
CN107229966B (zh) | 一种模型数据更新方法、装置及系统 | |
CN106845633B (zh) | 神经网络信息转换方法和系统 | |
WO2015178977A2 (en) | In situ neural network co-processing | |
CN104641385A (zh) | 神经核心电路 | |
CN109408590B (zh) | 分布式数据库的扩容方法、装置、设备及存储介质 | |
CN106815638B (zh) | 输入权重拓展的神经元信息处理方法和系统 | |
CN109947573A (zh) | 适用于电力系统边缘计算的智能加速芯片 | |
Schäfer et al. | Simulation of spiking neural networks—architectures and implementations | |
WO2015153150A2 (en) | Probabilistic representation of large sequences using spiking neural network | |
CN110580519A (zh) | 一种卷积运算结构及其方法 | |
CN109739684A (zh) | 基于向量时钟的分布式键值数据库的副本修复方法与装置 | |
KR101782760B1 (ko) | 시냅스 지연의 동적 할당 및 검사 | |
CN111930795B (zh) | 一种分布式模型搜索方法及系统 | |
CN114398949A (zh) | 一种脉冲神经网络模型的训练方法、存储介质及计算设备 | |
CN111723907B (zh) | 一种模型训练设备、方法、系统及计算机可读存储介质 | |
CN113158567A (zh) | 一种液体状态机模型中通信的软硬件联合优化方法及系统 | |
CN106875010B (zh) | 神经元权重信息处理方法和系统 | |
WO2018133567A1 (zh) | 神经元权重信息处理方法和系统、神经元信息处理方法和系统及计算机设备 | |
CN108171326B (zh) | 神经网络的数据处理方法、装置、芯片、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20180213 Address after: 100036 Beijing city Haidian District West Sanhuan Road No. 10 wanghailou B block two layer 200-30 Applicant after: Beijing Ling Xi Technology Co. Ltd. Address before: 100084 Haidian District Tsinghua Yuan Beijing No. 1 Applicant before: Tsinghua University |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |