CN106875004B - 复合模式神经元信息处理方法和系统 - Google Patents
复合模式神经元信息处理方法和系统 Download PDFInfo
- Publication number
- CN106875004B CN106875004B CN201710041892.3A CN201710041892A CN106875004B CN 106875004 B CN106875004 B CN 106875004B CN 201710041892 A CN201710041892 A CN 201710041892A CN 106875004 B CN106875004 B CN 106875004B
- Authority
- CN
- China
- Prior art keywords
- neuron
- current
- information
- output information
- potential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Feedback Control In General (AREA)
Abstract
本发明涉及一种复合模式神经元信息处理方法和系统,所述方法包括:读取神经元工作模式配置参数,所述神经元工作模式配置参数包括人工神经元工作模式配置参数或脉冲神经元工作模式配置参数;根据所述神经元工作模式配置参数,配置当前神经元工作模式;接收前端神经元输出信息;读取当前神经元信息;根据所述前端神经元输出信息和所述当前神经元信息,计算当前神经元输出信息;输出所述当前人工神经元输出信息或所述当前脉冲神经元输出信息。本发明在同一架构下,同时支持人工神经网络和脉冲神经网络,丰富类脑计算平台的处理信息类型,降低了不同神经网络工作模式下多任务执行的成本,并提高了不同神经网络工作模式下的多任务的执行效率。
Description
技术领域
本发明涉及人工神经网络技术领域,特别是涉及复合模式神经元信息处理方法和系统。
背景技术
如今的人工神经网络研究绝大多数仍是在冯·诺依曼计算机软件并搭配高性能GPGPU(General Purpose Graphic Processing Units通用图形处理单元)平台中实现的,整个过程的硬件开销、能耗和信息处理速度都不容乐观。为此,近几年神经形态计算领域迅猛发展,即采用硬件电路直接构建神经网络从而模拟大脑的功能,试图实现大规模并行、低能耗、可支撑复杂模式学习的计算平台。
然而,传统的神经形态系统的神经元局限于支持单一的信息处理和传输模式:人工神经网络或脉冲神经网络,从而导致单个任务的神经网络构建成本高,多个任务的神经网络执行效率低。
发明内容
基于此,有必要针对需要为不同神经网络工作模式下的任务,构建不同工作模式的神经网络的问题,提供一种复合模式神经元信息处理方法和系统,所述方法包括:
读取神经元工作模式配置参数,所述神经元工作模式配置参数包括人工神经元工作模式配置参数或脉冲神经元工作模式配置参数;
根据所述神经元工作模式配置参数,配置当前神经元工作模式,所述当前神经元工作模式包括人工神经元工作模式或脉冲神经元工作模式;
接收前端神经元输出信息,所述前端神经元输出信息包括前端人工神经元输出信息或前端脉冲神经元输出信息;
读取当前神经元信息,所述当前神经元信息包括当前人工神经元信息或当前脉冲神经元信息;
根据所述前端神经元输出信息和所述当前神经元信息,计算当前神经元输出信息,包括根据所述前端人工神经元输出信息和所述当前人工神经元信息,计算当前人工神经元输出信息,或根据所述前端脉冲神经元输出信息和所述当前脉冲神经元信息,计算当前脉冲神经元输出信息;
输出所述当前人工神经元输出信息或所述当前脉冲神经元输出信息。
在其中一个实施例中,
所述前端人工神经元输出信息包括:前端人工神经元输出的膜电位信息、前端人工神经元与当前人工神经元的连接权重索引;
所述当前人工神经元信息包括:当前人工神经元偏置信息;
则所述根据所述前端人工神经元输出的膜电位信息和所述当前人工神经元信息,计算当前人工神经元输出信息,包括:
根据所述前端人工神经元与当前人工神经元的连接权重索引,读取前端人工神经元与当前人工神经元的连接权重;
根据所述前端人工神经元输出的膜电位信息、所述前端人工神经元与当前人工神经元的连接权重、所述当前人工神经元偏置信息,通过预设的人工神经元激活函数,计算当前人工神经元输出信息。
在其中一个实施例中,
在根据所述前端人工神经元输出的膜电位信息、所述前端人工神经元与当前人工神经元的连接权重、所述当前人工神经元偏置信息,通过预设的人工神经元激活函数,计算当前人工神经元输出信息的步骤之后,所述方法还包括:
读取电位极值,以及与所述电位极值对应的极值神经元标识;
将所述当前人工神经元输出信息和所述电位极值进行比较,若所述当前人工神经元输出信息大于或等于所述电位极值,则
将所述电位极值更新为所述当前人工神经元输出信息,并将所述极值神经元标识更新为当前人工神经元的标识。
在其中一个实施例中,
所述输出所述当前人工神经元输出信息,包括:
读取第一发放使能标识,所述第一发放使能标识包括允许发放数据或不允许发放数据;
当所述第一发放使能标识为允许发放数据时,读取人工神经元发放数据类型参数,所述人工神经元发放数据类型包括:发放所述当前人工神经元输出信息、发放所述电位极值、发放所述电位极值对应的极值神经元标识其中的一种;
根据所述人工神经元发放数据类型参数,确定所述当前人工神经元最终输出信息;
输出所述当前人工神经元最终输出信息。
在其中一个实施例中,所述前端脉冲神经元输出信息包括:前端脉冲神经元输出的脉冲尖端信息、前端脉冲神经元与当前脉冲神经元的连接权重索引;
所述当前脉冲神经元信息包括:当前时间窗宽度、当前时间窗内脉冲尖端信息序列、历史膜电位信息和膜电位泄漏信息;
则根据所述前端脉冲神经元输出信息和所述当前脉冲神经元信息,计算当前脉冲神经元输出信息,包括:
根据所述前端脉冲神经元与当前脉冲神经元的连接权重索引,读取前端脉冲神经元与当前脉冲神经元的连接权重;
根据所述前端脉冲神经元输出的脉冲尖端信息,和所述当前时间窗内脉冲尖端信息序列,更新所述当前时间窗内脉冲尖端信息序列,获取当前时间窗内脉冲尖端信息更新序列;
根据所述当前时间窗宽度、所述当前时间窗内脉冲尖端信息更新序列,通过衰减函数计算前端脉冲神经元输入信息;
根据所述前端脉冲神经元输入信息、所述前端脉冲神经元与当前脉冲神经元的连接权重、所述历史膜电位信息、所述膜电位泄露信息,通过脉冲神经元计算模型,计算当前脉冲神经元输出信息。
在其中一个实施例中,在根据所述前端脉冲神经元输入信息、所述前端脉冲神经元与当前脉冲神经元的连接权重、所述历史膜电位信息、所述膜电位泄露信息,通过脉冲神经元计算模型,计算当前脉冲神经元输出信息的步骤之后,在输出所述当前脉冲神经元输出信息的步骤之前,所述方法还包括:
获取阈值电位;
将所述当前脉冲神经元输出信息和所述阈值电位进行比较,根据比较结果确定发放触发标志信息,所述发放触发标志信息包括:发放触发或发放不触发;当所述发放触发标志信息为发放触发时,
复位不应期计时器,并更新所述历史膜电位信息为预设的复位膜电位信息。
在其中一个实施例中,在将所述当前脉冲神经元输出信息和所述阈值电位进行比较,根据比较结果确定发放触发标志信息的步骤之后,所述方法还包括:
当所述发放触发标志信息为发放不触发时,读取不应期宽度和不应期计时器的当前时间步;
根据所述不应期宽度和所述不应期计时器的当前时间步,判断当前时间是否在不应期内,若当前时间在所述不应期内,将所述不应期计时器累加计时一个时间步,不更新所述历史膜电位信息;
若当前时间不在所述不应期内,将所述不应期计时器累加计时一个时间步,并更新所述历史膜电位信息为所述当前脉冲神经元输出信息。
在其中一个实施例中,所述获取阈值电位,包括:
读取随机阈值掩模电位、阈值偏置和随机阈值;
将所述随机阈值和所述随机阈值掩模电位进行按位与操作,获取阈值随机叠加量;
根据所述阈值随机叠加量和所述阈值偏置,确定所述阈值电位。
在其中一个实施例中,所述输出所述当前脉冲神经元输出信息,包括:
读取第二发放使能标识,所述第二发放使能标识包括允许发放数据或不允许发放数据,当所述第二发放使能标识为允许发放数据时,
读取所述发放触发标志信息,当所述发放触发标志信息为发放触发时;
输出所述当前脉冲神经元输出信息。
本发明提供的复合模式神经元信息处理方法,根据预设的神经元工作模式配置参数,配置相应的人工神经元工作模式,或脉冲神经元工作模式,并在相应的神经元工作模式下,通过接收前端神经元输出信息,和读取当前神经元信息,计算当前人工神经元输出信息或当前脉冲神经元输出信息,并进行输出。本发明所提供的复合模式神经元信息处理方法,可以根据任务的需求,配置相应的神经元工作模式,在针对不同的神经网络工作模式下的不同任务间切换时,只需要修改神经元工作模式配置参数即可,不同于仅仅支持人工神经网络模式的神经网络加速器方案,也不同于仅支持脉冲神经网络的神经形态方案,本发明可以在同一架构下,同时支持以人工神经网络模式为基础的机器学习应用和以脉冲神经网络为基础的计算神经科学应用,丰富类脑计算平台的处理信息类型,降低了不同神经网络工作模式下的多任务执行的成本,并提高了不同神经网络工作模式下的多任务的执行效率。
在其中一个实施例中,所述人工神经元输出信息和所述电位极值进行比较,若所述人工神经元输出信息大于或等于所述电位极值,则将所述电位极值更新为所述人工神经元输出信息,可以使神经网络直接在卷积层完成池化步骤的操作,而不需要为池化层神经元分配物理空间,大大节约神经元资源,进而降低神经网络的构建成本。
在其中一个实施例中,通过设置发放使能标识和人工神经元发放数据类型参数,确定当前人工神经元输出信息,使得人工神经元的输出的可控性更高,发放使能标志可以配置有的神经元不允许发放数据,而只用作中间辅助计算神经元,这对于一些需要多神经元协作完成的功能非常必要,另外,发放使能标志和发放类型可以配合工作,将设定区域的神经元输出信息,缩小为一个当前神经元输出信息(该神经元输出信息为设定区域的各神经元输出信息中的极大值),完成直接最大池化的操作。
在其中一个实施例中,根据所述前端脉冲神经元输出的脉冲尖端信息,和所述当前时间窗内脉冲尖端信息序列,更新所述当前时间窗内脉冲尖端信息序列,获取当前时间窗内脉冲尖端信息更新序列,根据所述当前时间窗宽度、所述前端脉冲神经元与当前脉冲神经元的连接权重,通过衰减函数计算前端脉冲神经元输入信息,可以支持具有时间深度的时空脉冲神经网络模型,相比于时间深度仅仅为一的神经网络技术方案,可以大大提高脉冲神经网络的时空信息编码能力,丰富脉冲神经网络的应用空间。
在其中一个实施例中,通过读取随机阈值掩模电位和阈值偏置,并接收配置寄存器给出的配置值,确定所述阈值电位,使得神经元发放脉冲尖端信息具有一定概率的随机性,无论膜电位有没有超过固定阈值偏置,由于还有一个可正可负的阈值随机叠加量的存在,该神经元胞体都有可能发放脉冲,提高了脉冲神经网络模型的计算能力和信息处理能力。
本发明还提供一种复合模式神经元信息处理系统,包括:
神经元工作模式读取模块,用于读取神经元工作模式配置参数,所述神经元工作模式配置参数包括人工神经元工作模式配置参数或脉冲神经元工作模式配置参数;
神经元工作模式配置模块,用于根据所述神经元工作模式配置参数,配置当前神经元工作模式,所述当前神经元工作模式包括人工神经元工作模式或脉冲神经元工作模式;
前端神经元输出信息接收模块,用于接收前端神经元输出信息,所述前端神经元输出信息包括前端人工神经元输出信息或前端脉冲神经元输出信息;
当前神经元信息读取模块,用于读取当前神经元信息,所述当前神经元信息包括当前人工神经元信息或当前脉冲神经元信息;
当前神经元输出信息计算模块,用于根据所述前端神经元输出信息和所述当前神经元信息,计算当前神经元输出信息,包括根据所述前端人工神经元输出信息和所述当前人工神经元信息,计算当前人工神经元输出信息,或根据所述前端脉冲神经元输出信息和所述当前脉冲神经元信息,计算当前脉冲神经元输出信息;
当前神经元输出信息输出模块,用于输出所述当前人工神经元输出信息或所述当前脉冲神经元输出信息。
在其中一个实施例中,
所述前端神经元输出信息接收模块,包括前端人工神经元输出信息接收单元,所述前端人工神经元输出信息接收单元用于:接收前端人工神经元输出的膜电位信息、前端人工肝神经元与当前人工神经元的连接权重索引;
所述当前神经元信息读取模块,包括当前人工神经元信息读取单元,所述当前人工神经元信息读取单元用于:读取当前人工神经元偏置信息;
所述当前神经元输出信息计算模块,包括:
人工神经元连接权重读取单元,用于根据所述前端人工神经元与当前人工神经元的连接权重索引,读取前人工端神经元与当前人工神经元的连接权重;
当前人工神经元输出信息计算单元,用于根据所述前端人工神经元输出的膜电位信息、所述前端人工神经元与当前人工神经元的连接权重、所述当前人工神经元偏置信息,通过预设的人工神经元激活函数,计算当前人工神经元输出信息。
在其中一个实施例中,
所述当前神经元输出信息计算模块,还包括:
电位极值读取单元,用于读取电位极值,以及与所述电位极值对应的极值神经元标识;
电位极值比较单元,用于将所述当前人工神经元输出信息和所述电位极值进行比较,若所述当前人工神经元输出信息大于或等于所述电位极值,则
电位极值更新单元,用于将所述电位极值更新为所述当前人工神经元输出信息,并将所述极值神经元标识更新为当前人工神经元的标识。
在其中一个实施例中,
所述当前神经元输出信息输出模块,还包括:
第一发放使能标识读取单元,用于读取第一发放使能标识,所述第一发放使能标识包括允许发放数据或不允许发放数据,当所述第一发放使能标识为允许发放数据时,
人工神经元发放数据类型读取单元,用于读取人工神经元发放数据类型参数,所述人工神经元发放数据类型包括:发放所述当前人工神经元输出信息,发放所述电位极值、发放所述电位极值对应的极值神经元标识其中的一种;
人工神经元发放数据类型确定单元,用于根据所述人工神经元发放数据类型参数,确定所述当前人工神经元最终输出信息;
当前人工神经元输出信息输出单元,用于输出所述当前人工神经元最终输出信息。
在其中一个实施例中,所述前端神经元输出信息接收模块,包括前端脉冲神经元输出信息接收单元,所述前端脉冲神经元输出信息接收单元用于:接收前端脉冲神经元输出的脉冲尖端信息、前端脉冲神经元与当前脉冲神经元的连接权重索引;
所述当前神经元信息读取模块,包括当前脉冲神经元信息读取单元,所述当前脉冲神经元信息读取单元用于:读取当前时间窗宽度、当前时间窗内脉冲尖端信息序列、历史膜电位信息和膜电位泄漏信息;
所述当前神经元输出信息计算模块,包括:
脉冲神经元连接权重读取单元,用于根据所述前端脉冲神经元与当前脉冲神经元的连接权重索引,读取前端脉冲神经元与当前脉冲神经元的连接权重;
时间窗内脉冲尖端信息序列更新单元,用于根据所述前端脉冲神经元输出的脉冲尖端信息,和所述当前时间窗内脉冲尖端信息序列,更新所述当前时间窗内脉冲尖端信息序列,获取当前时间窗内脉冲尖端信息更新序列;
前端脉冲神经元输入信息计算单元,用于根据所述当前时间窗宽度、所述当前时间窗内脉冲尖端信息更新序列,通过衰减函数计算前端脉冲神经元输入信息;
脉冲神经元输出信息计算单元,用于根据所述前端脉冲神经元输入信息、所述前端脉冲神经元与当前脉冲神经元的连接权重、所述历史膜电位信息、所述膜电位泄露信息,通过脉冲神经元计算模型,计算当前脉冲神经元输出信息。
在其中一个实施例中,还包括:
阈值电位获取单元,用于获取阈值电位;
发放触发确定单元,用于将所述当前脉冲神经元输出信息和所述阈值电位进行比较,根据比较结果确定发放触发标志信息,所述发放触发标志信息包括:发放触发或发放不触发;当所述发放触发标志信息为发放触发时,
发放触发动作单元,用于复位不应期计时器,并更新所述历史膜电位信息为预设的复位膜电位信息。
在其中一个实施例中,还包括:
当所述发放触发确定单元,确定的发放触发标志信息为发放不触发时,
发放不触发动作单元,包括:
不应期判断子单元,用于读取不应期宽度和不应期计时器的当前时间步;并根据所述不应期宽度和所述不应期计时器的当前时间步,判断当前时间是否在不应期内,若不应期判断子单元判断结果为当前时间在所述不应期内,
不应期内运行子单元,用于将所述不应期计时器累加计时一个时间步,不更新所述历史膜电位信息;
若不应期判断子单元判断结果为当前时间不在所述不应期内,
不应期外运行子单元,用于将所述不应期计时器累加计时一个时间步,并更新所述历史膜电位信息为所述当前脉冲神经元输出信息。
在其中一个实施例中,所述阈值电位获取单元,包括:
阈值信息接收子单元,用于读取随机阈值掩模电位、阈值偏置和随机阈值;
阈值随机叠加量获取子单元,用于将所述随机阈值和所述随机阈值掩模电位进行按位与操作,获取阈值随机叠加量;
阈值电位确定子单元,用于根据所述阈值随机叠加量和所述阈值偏置,确定所述阈值电位。
在其中一个实施例中,所述当前神经元输出信息输出模块,包括:
第二发放使能标识读取单元,用于读取第二发放使能标识,所述第二发放使能标识包括允许发放数据或不允许发放数据,当所述第二发放使能标识为允许发放数据时,
所述发放触发标志信息读取单元,用于读取所述发放触发标志信息,当所述发放触发标志信息为发放触发时;
当前脉冲神经元输出信息输出单元,用于输出所述当前脉冲神经元输出信息。
本发明提供的复合模式神经元信息处理系统,根据预设的神经元工作模式配置参数,配置相应的人工神经元工作模式,或脉冲神经元工作模式,并在相应的神经元工作模式下,通过接收前端神经元输出信息,和读取当前神经元信息,计算当前人工神经元输出信息或当前脉冲神经元输出信息,并进行输出。本发明所提供的复合模式神经元信息处理系统,可以根据任务的需求,配置相应的神经元工作模式,在针对不同的神经网络工作模式下的不同任务间切换时,只需要修改神经元工作模式配置参数即可,不同于仅仅支持人工神经网络模式的神经网络加速器方案,也不同于仅支持脉冲神经网络的神经形态方案,本发明可以在同一架构下,同时支持以人工神经网络模式为基础的机器学习应用和以脉冲神经网络为基础的计算神经科学应用,丰富类脑计算平台的处理信息类型,降低了不同神经网络工作模式下的多任务执行的成本,并提高了不同神经网络工作模式下的多任务的执行效率。
在其中一个实施例中,所述人工神经元输出信息和所述电位极值进行比较,若所述人工神经元输出信息大于或等于所述电位极值,则将所述电位极值更新为所述人工神经元输出信息,可以使神经网络直接在卷积层完成池化步骤的操作,而不需要为池化层神经元分配物理空间,大大节约神经元资源,进而降低神经网络的构建成本。
在其中一个实施例中,通过设置发放使能标识和人工神经元发放数据类型参数,确定当前人工神经元输出信息,使得人工神经元的输出的可控性更高,发放使能标志可以配置有的神经元不允许发放数据,而只用作中间辅助计算神经元,这对于一些需要多神经元协作完成的功能非常必要,另外,发放使能标志和发放类型可以配合工作,将设定区域的神经元输出信息,缩小为一个当前神经元输出信息(该神经元输出信息为设定区域的各神经元输出信息中的极大值),完成直接最大池化的操作。
在其中一个实施例中,根据所述前端脉冲神经元输出的脉冲尖端信息,和所述当前时间窗内脉冲尖端信息序列,更新所述当前时间窗内脉冲尖端信息序列,获取当前时间窗内脉冲尖端信息更新序列,根据所述当前时间窗宽度、所述前端脉冲神经元与当前脉冲神经元的连接权重,通过衰减函数计算前端脉冲神经元输入信息,可以支持具有时间深度的时空脉冲神经网络模型,相比于时间深度仅仅为一的神经网络技术方案,可以大大提高脉冲神经网络的时空信息编码能力,丰富脉冲神经网络的应用空间。
在其中一个实施例中,通过读取随机阈值掩模电位和阈值偏置,并接收配置寄存器给出的配置值,确定所述阈值电位,使得神经元发放脉冲尖端信息具有一定概率的随机性,无论膜电位有没有超过固定阈值偏置,由于还有一个可正可负的阈值随机叠加量的存在,该神经元胞体都有可能发放脉冲,提高了脉冲神经网络模型的计算能力和信息处理能力。
附图说明
图1为一个实施例的多模式神经网络信息处理方法的流程示意图;
图2为另一个实施例的多模式神经网络信息处理方法的流程示意图;
图3为又一个实施例的多模式神经网络信息处理方法的流程示意图;
图4为再一个实施例的多模式神经网络信息处理方法的流程示意图;
图5为再一个实施例的多模式神经网络信息处理方法的流程示意图;
图6为再一个实施例的多模式神经网络信息处理方法的流程示意图;
图7为一个实施例的多模式神经网络信息处理系统的结构示意图;
图8为另一个实施例的多模式神经网络信息处理系统的结构示意图;
图9为又一个实施例的多模式神经网络信息处理系统的结构示意图;
图10为再一个实施例的多模式神经网络信息处理系统的结构示意图;
图11为再一个实施例的多模式神经网络信息处理系统的结构示意图;
图12为再一个实施例的多模式神经网络信息处理系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
图1为一个实施例的多模式神经网络信息处理方法的流程示意图,如图1所示的多模式神经网络信息处理方法,包括:
步骤S100,读取神经元工作模式配置参数,所述神经元工作模式配置参数包括人工神经元工作模式配置参数或脉冲神经元工作模式配置参数。
具体的,本发明提供一种多模式和多功能复合的神经形态胞体单元,该单元基于全数字电路,集成了人工神经网络(Artificial Neural Network,ANN)和脉冲神经网络(Spiking Neural Network,SNN)两种信息处理及传输模式。根据不同任务的处理需求,将神经元胞体单元可以设置为ANN或SNN的工作模式。
所述的神经元工作模式配置参数,即是一个任务确定好的神经网络的工作模式。
步骤S200,根据所述神经元工作模式配置参数,配置当前神经元工作模式,所述当前神经元工作模式包括人工神经元工作模式或脉冲神经元工作模式。
具体的,根据读取到的所述神经元工作模式配置参数,将所述神经元胞体单元设置为ANN或SNN工作模式即可。
步骤S300,接收前端神经元输出信息,所述前端神经元输出信息包括前端人工神经元输出信息或前端脉冲神经元输出信息。
具体的,根据所述配置好的神经元工作模式,接收不同的前端神经元输出信息,若配置为人工神经元工作模式,接收前端人工神经元输出信息,若配置为脉冲神经元工作模式,接收前端脉冲神经元输出信息。
步骤S400,读取当前神经元信息,所述当前神经元信息包括当前人工神经元信息或当前脉冲神经元信息。
具体的,根据所述配置好的神经元工作模式,读取不同的当前神经元信息,若配置为人工神经元工作模式,读取当前人工神经元信息,若配置为脉冲神经元工作模式,读取当前脉冲神经元信息。
步骤S500,根据所述前端神经元输出信息和所述当前神经元信息,计算当前神经元输出信息,包括根据所述前端人工神经元输出信息和所述当前人工神经元信息,计算当前人工神经元输出信息,或根据所述前端脉冲神经元输出信息和所述当前脉冲神经元信息,计算当前脉冲神经元输出信息。
具体的,根据所述配置好的神经元工作模式,执行人工神经元的计算过程或执行脉冲神经元的计算过程,得到当前人工神经元输出信息或当前脉冲神经元输出信息。
步骤S600,输出所述当前人工神经元输出信息或所述当前脉冲神经元输出信息。
具体的,同样根据配置好的神经元工作模式,当工作在人工神经元模式下时,根据人工神经网络的输出方式输出所述当前人工神经元输出信息,当工作在脉冲神经元模式下时,根据脉冲神经网络的输出方式输出所述当前脉冲神经元输出信息。
本发明提供的复合模式神经元信息处理方法,根据预设的神经元工作模式配置参数,配置相应的人工神经元工作模式,或脉冲神经元工作模式,并在相应的神经元工作模式下,通过接收前端神经元输出信息,和读取当前神经元信息,计算当前人工神经元输出信息或当前脉冲神经元输出信息,并进行输出。本发明所提供的复合模式神经元信息处理方法,可以根据任务的需求,配置相应的神经元工作模式,在针对不同的神经网络工作模式下的不同任务间切换时,只需要修改神经元工作模式配置参数即可,不同于仅仅支持人工神经网络模式的神经网络加速器方案,也不同于仅支持脉冲神经网络的神经形态方案,本发明可以在同一架构下,同时支持以人工神经网络模式为基础的机器学习应用和以脉冲神经网络为基础的计算神经科学应用,丰富类脑计算平台的处理信息类型,降低了不同神经网络工作模式下的多任务执行的成本,并提高了不同神经网络工作模式下的多任务的执行效率。
图2为另一个实施例的多模式神经网络信息处理方法的流程示意图,如图2所示的多模式神经网络信息处理方法,为图1所示的方法中,所述神经元工作模式配置参数为人工神经元工作模式配置参数时,步骤S300至步骤S500的细化步骤,包括:
步骤S100a,接收前端人工神经元输出的膜电位信息、前端人工神经元与当前人工神经元的连接权重索引。
具体的,所述前端人工神经元与当前人工神经元的连接权重索引,是前端神经元与所述前端人工神经元输出信息一同发送的权重索引,用于指示当前神经元权重的提取。
步骤S200a,读取当前人工神经元偏置信息。
具体的,所述人工神经元的偏置信息,为膜电位偏置值。
步骤S300a,根据所述前端人工神经元与当前人工神经元的连接权重索引,读取前端人工神经元与当前人工神经元的连接权重。
具体的,所述前端人工神经元与当前人工神经元的连接权重索引,是一个地址信息,当前神经元根据接收到的所述前端人工神经元与当前人工神经元的连接权重索引,在当前神经元内的存储器中,读取到前端人工神经元与当前人工神经元的连接权重,根据所述的连接权重信息,可以将前端神经元的输出信息,在参与当前神经元输出信息的计算过程中,更准确的反应出前端神经元的输出信息的权重。
步骤S400a,根据所述前端人工神经元输出的膜电位信息、所述前端人工神经元与当前人工神经元的连接权重、所述当前人工神经元偏置信息,通过预设的人工神经元激活函数,计算当前人工神经元输出信息。
具体的,其中Yi为当前神经元输出的膜电位信息、Xi为前端神经元输出信息、Wji为前端人工神经元与当前人工神经元的连接权重、Vbias为当前人工神经元偏置,f(·)为预设的人工神经元激活函数,常用的主要为ReLU函数Sigmoid函数tanh函数等。若应用于芯片设计,在胞体处的基本模型可以简化为:VANN=f(Vinput+Vbias),Vinput是当前拍累加的输入,等效于上述的
本实施例所提供的复合模式神经元信息处理系统,根据任务的需求,配置为人工神经元工作模式,可以实现目前大多数的人工神经网络模型,支撑类脑计算平台在机器学习领域的应用。
在其中一个实施例中,在根据所述前端人工神经元输出的膜电位信息、所述前端人工神经元与当前人工神经元的连接权重、所述当前人工神经元偏置信息,通过预设的人工神经元激活函数,计算人工神经元输出信息的步骤之后,所述方法还包括:
读取电位极值,以及与所述电位极值对应的极值神经元标识;将所述当前人工神经元输出信息和所述电位极值进行比较,若所述当前人工神经元输出信息大于或等于所述电位极值,则将所述电位极值更新为所述当前人工神经元输出信息,并将所述极值神经元标识更新为当前人工神经元的标识。
具体的,ANN模式下,每个胞体都会将当前人工神经元输出信息,即当前膜电位VANN与存储的电位极值,即胞体间横向最大电位值Vmax进行比较。若VANN≥Vmax,则将所述胞体间横向最大电位值更新为所述当前膜电位VANN,Vmax=VANN,并更新最大值胞体序号Nmax为当前胞体标识序号。
在本实施例中,所述当前人工神经元输出信息和所述电位极值进行比较,若所述当前人工神经元输出信息大于或等于所述电位极值,则将所述电位极值更新为所述当前人工神经元输出信息,可以使神经网络直接在卷积层完成池化步骤的操作,而不需要为池化层神经元分配物理空间,大大节约神经元资源,进而降低神经网络的构建成本。
图3为又一个实施例的多模式神经网络信息处理方法的流程示意图,如图3所示的多模式神经网络信息处理方法,为图1的步骤S600的细化流程,包括:
步骤S610a,读取第一发放使能标识,所述第一发放使能标识包括允许发放数据或不允许发放数据,当所述第一发放使能标识为允许发放数据时。
具体的,所述第一发放使能标识,是任务中设定好的决定最终的神经元输出信息是否发放的控制信息,当所述第一发放使能标识为不允许发放数据时,所述计算出的人工神经元输出信息不允许发放,流程结束。当所述第一发放使能标识为允许发放数据时,接步骤S620a。
步骤S620a,读取人工神经元发放数据类型参数,所述人工神经元发放数据类型包括:发放所述当前人工神经元输出信息,发放所述电位极值、发放所述电位极值对应的极值神经元标识其中的一种。
具体的,当所述第一发放使能标识为允许发放数据时,读取人工神经元发放数据类型参数,根据后续的计算需求,可选择发放不同的数据类型,例如,为满足后续的卷积神经网络中的最大池化操作,需要输出所述电位极值。
步骤S630a,根据所述人工神经元发放数据类型参数,确定所述当前人工神经元最终输出信息。
步骤S640a,输出所述当前人工神经元最终输出信息。
在本实施例中,通过设置发放使能标识和人工神经元发放数据类型参数,确定当前人工神经元输出信息,使得人工神经元的输出的可控性更高,发放使能标志可以配置有的神经元不允许发放数据,而只用作中间辅助计算神经元,这对于一些需要多神经元协作完成的功能非常必要,另外,发放使能标志和发放类型可以配合工作,将设定区域的神经元输出信息,缩小为一个当前神经元输出信息(该神经元输出信息为设定区域的各神经元输出信息中的极大值),完成直接最大池化的操作。
图4为再一个实施例的多模式神经网络信息处理方法的流程示意图,如图4所示的多模式神经网络信息处理方法,为图1所示的方法中的所述神经元工作模式配置参数为脉冲神经元工作模式配置参数时,步骤S300至步骤S500的细化流程,包括:
步骤S100b,接收前端脉冲神经元输出的脉冲尖端信息、前端脉冲神经元与当前脉冲神经元的连接权重索引。
具体的,所述前端脉冲神经元与当前脉冲神经元的连接权重索引,是前端神经元与所述前端脉冲神经元输出信息一同发送的权重索引,用于指示当前神经元权重的提取。所述前端脉冲神经元输出的脉冲尖端信息,为前端脉冲神经元发送的脉冲尖端信号(spike)。
步骤S200b,读取当前时间窗宽度、当前时间窗内脉冲尖端信息序列、历史膜电位信息和膜电位泄漏信息。
具体的,所述当前时间窗内脉冲尖端信息序列,是指在所述当前时间窗宽度内,将过去一定范围内的时间步接收到的脉冲尖端信息,按时间顺序依次缓存的一个信息序列。
步骤S300b,根据所述前端脉冲神经元与当前脉冲神经元的连接权重索引,读取前端脉冲神经元与当前脉冲神经元的连接权重。
具体的,所述前端脉冲神经元与当前脉冲神经元的连接权重索引,是一个地址信息,当前神经元根据接收到的所述前端脉冲神经元与当前脉冲神经元的连接权重索引,在当前神经元内的存储器中,读取到前端脉冲神经元与当前脉冲神经元的连接权重,根据所述的连接权重信息,可以将前端神经元的输出信息,在参与当前神经元输出信息的计算过程中,更准确的反应出前端神经元的输出信息的权重,携带更丰富的信息。
步骤S400b,根据所述前端脉冲神经元输出的脉冲尖端信息,和所述当前时间窗内脉冲尖端信息序列,更新所述当前时间窗内脉冲尖端信息序列,获取当前时间窗内脉冲尖端信息更新序列。
具体的,所述脉冲尖端信息序列,在每个脉冲神经元的操作步,在序列头存储一个新的脉冲尖端信息后,删除一个序列尾位置上的脉冲尖端信息,更新一次所述脉冲尖端序列。
步骤S500b,根据所述当前时间窗宽度、所述当前时间窗内脉冲尖端信息更新序列,通过衰减函数计算前端脉冲神经元输入信息。
具体的,利用计算所述前端脉冲神经元输入信息,其中,Tw为所述时间窗宽度,δj为前端神经元j在当前时间窗内发放spike后,在所述当前时间窗内脉冲尖端信息更新序列内的时间步。K(Δt)为一个衰减函数,随着Δt增大而迅速减小。
步骤S600b,根据所述前端脉冲神经元输入信息、所述前端脉冲神经元与当前脉冲神经元的连接权重、所述历史膜电位信息、所述膜电位泄露信息,通过脉冲神经元计算模型,计算当前脉冲神经元输出信息。
具体的,利用如下公式表示前端脉冲神经元输入信息的计算:
其中Wij为所述前端脉冲神经元j和当前脉冲神经元i的连接权重,Tw为所述时间窗宽度,δj为前端神经元j在当前时间窗内发放spike后,在所述当前时间窗内脉冲尖端信息更新序列内的时间步。K(Δt)为一个衰减函数,随着Δt增大而迅速减小。在胞体处的基本模型可以简化为:
VSNN=f(V+Vinput+Vleak)
发放模型和复位模型不变,其中V是存储器保存的历史膜电位信息,Vinput是当前拍累加的输入,等效于上述的Vleak为泄漏值信息。
在本实施例中,根据所述前端脉冲神经元输出的脉冲尖端信息,和所述当前时间窗内脉冲尖端信息序列,更新所述当前时间窗内脉冲尖端信息序列,获取当前时间窗内脉冲尖端信息更新序列,根据所述当前时间窗宽度、所述前端脉冲神经元与当前脉冲神经元的连接权重,通过衰减函数计算前端脉冲神经元输入信息,可以支持具有时间深度的时空脉冲神经网络模型,相比于时间深度仅仅为一的神经网络技术方案,可以大大提高脉冲神经网络的时空信息编码能力,丰富脉冲神经网络的应用空间。
图5为再一个实施例的多模式神经网络信息处理方法的流程示意图,如图5所示的多模式神经网络信息处理方法,为图4所示的全部步骤之后,图1中S600的步骤之前,包括:
步骤S100c,获取阈值电位。
具体的,所述获取阈值电位,包括:读取随机阈值掩模电位、阈值偏置和随机阈值;将所述随机阈值和所述随机阈值掩模电位进行按位与操作,获取阈值随机叠加量;根据所述阈值随机叠加量和所述阈值偏置,确定所述阈值电位。
伪随机数发生器产生一个随机阈值Vrand,利用所述随机阈值与预设的随机阈值掩模电位Vmask按位取与操作,产生阈值随机叠加量,再将所述阈值随机叠加量与预设的阈值偏置Vth0相加,产生真正的阈值电位Vth。其中,伪随机数发生器的初始种子由配置寄存器Vseed给出。
掩模电位Vmask用于限制阈值增量的范围:若Vmask=0,则阈值随机叠加量也为0,发放模式退化为固定阈值发放,固定阈值为Vth0;若Vmask≠0,则发放模式为部分概率阈值发放。当极端情况Vth0=0,则发放模式为完全概率阈值发放。
步骤S200c,将所述当前脉冲神经元输出信息和所述阈值电位进行比较,根据比较结果确定发放触发标志信息,所述发放触发标志信息包括:发放触发或发放不触发。当所述发放触发标志信息为发放触发时,接步骤S300c,当所述发放触发标志信息为发放不触发时,接步骤S400c。
具体的,根据获取到的阈值电位,与所述当前脉冲神经元输出信息进行比较,并根据比较结果确定发放触发标志信息。只有所述当前脉冲神经元输出信息大于或等于所述阈值电位时,所述当前脉冲神经元输出信息才有可能会被发送。
步骤S300c,复位不应期计时器,并更新所述历史膜电位信息为预设的复位膜电位信息。
具体的,当所述发放触发标志信息为发放触发时,所述当前脉冲神经元输出信息可能被发送,不应期计时器被复位,并更新所述历史膜电位信息为预设的膜电位信息,且所述的历史膜电位信息更新,根据配置的复位类型Reset_type,选择性将膜电位复位为当前膜电位、当前膜电位和阈值电位差值,或固定复位电压。
步骤S400c,读取不应期宽度和不应期计时器的当前时间步。
具体的,当所述发放触发标志信息为发放不触发时,所述当前脉冲神经元输出信息不被发送,进一步判断当前是否在不应期内。所述不应期宽度大于不应期计时器的值,所述不应期计时器利用时间步的方式计时。
步骤S500c,根据所述不应期宽度和所述不应期计时器的当前时间步,判断当前时间是否在不应期内。若当前时间在所述不应期内,接步骤S600c,若当前时间在所述不应期外,接步骤S700c。
具体的,根据所述不应期计时器的当前时间步的累计计算,可以判断出当前时间步是否还在不应期内。
步骤S600c,将所述不应期计时器累加计时一个时间步,不更新所述历史膜电位信息。
具体的,若当前时间在所述不应期内,根据脉冲神经网络的仿生特点,不对所述脉冲神经输出信息进行任何回应,不更新历史膜电位信息,所述历史膜电位信息,是下一个时间步的脉冲神经元需要读取的信息,即在不应期内,本次计算出的脉冲神经元输出信息不参与下一个时间步的计算。
步骤S700c,将所述不应期计时器累加计时一个时间步,并更新所述历史膜电位信息为所述当前脉冲神经元输出信息。
具体的,如在不应期外,则将所述历史膜电位信息更新为所述当前脉冲神经元输出信息,参与下一个时间步的计算。
在本实施例中,通过读取随机阈值掩模电位和阈值偏置,并接收配置寄存器给出的配置值,确定所述阈值电位,使得神经元发放脉冲尖端信息具有一定概率的随机性,无论膜电位有没有超过固定阈值偏置,由于还有一个可正可负的阈值随机叠加量的存在,该神经元胞体都有可能发放脉冲,提高了脉冲神经网络模型的计算能力和信息处理能力。
图6为再一个实施例的多模式神经网络信息处理方法的流程示意图,如图6所示的多模式神经网络信息处理方法,为图1所示的方法中的所述神经元工作模式配置参数为脉冲神经元工作模式配置参数时,步骤S600的细化流程,包括:
步骤S610b,读取第二发放使能标识,所述第二发放使能标识包括允许发放数据或不允许发放数据,当所述第二发放使能标识为允许发放数据时。
具体的,所述第二发放使能标识,是决定最终的神经元输出信息是否发放的控制信息,当所述第二发放使能标识为不允许发放数据时,所述计算出的人工神经元输出信息不允许发放,流程结束。当所述第二发放使能标识为允许发放数据时,接步骤S620b。
步骤S620b,读取所述发放触发标志信息,当所述发放触发标志信息为发放触发时。
具体的,在所述第二发放使能标识为允许方法数据时,还需要进一步判读所述发放触发标志是否为发放触发。
步骤S630b,输出所述当前脉冲神经元输出信息。
在本实施例中,通过设置发放使能标识和发放触发标志,确定当前脉冲神经元输出信息,使得脉冲神经元的输出的可控性更高,发放使能标志可以配置有的神经元不允许发放数据,而只用作中间辅助计算神经元,这对于一些需要多神经元协作完成的功能是非常必要的。
图7为一个实施例的多模式神经网络信息处理系统的结构示意图,如图7所示的多模式神经网络信息处理系统包括:
神经元工作模式读取模块100,用于读取神经元工作模式配置参数,所述神经元工作模式配置参数包括人工神经元工作模式配置参数或脉冲神经元工作模式配置参数。
神经元工作模式配置模块200,用于根据所述神经元工作模式配置参数,配置当前神经元工作模式,所述当前神经元工作模式包括人工神经元工作模式或脉冲神经元工作模式。
前端神经元输出信息接收模块300,用于接收前端神经元输出信息,所述前端神经元输出信息包括前端人工神经元输出信息或前端脉冲神经元输出信息。
当前神经元信息读取模块400,用于读取当前神经元信息,所述当前神经元信息包括当前人工神经元信息或当前脉冲神经元信息。
当前神经元输出信息计算模块500,用于根据所述前端神经元输出信息和所述当前神经元信息,计算当前神经元输出信息,包括根据所述前端人工神经元输出信息和所述当前人工神经元信息,计算当前人工神经元输出信息,或根据所述前端脉冲神经元输出信息和所述当前脉冲神经元信息,计算当前脉冲神经元输出信息。
当前神经元输出信息输出模块600,用于输出所述当前人工神经元输出信息或所述当前脉冲神经元输出信息。
本发明提供的复合模式神经元信息处理系统,根据预设的神经元工作模式配置参数,配置相应的人工神经元工作模式,或脉冲神经元工作模式,并在相应的神经元工作模式下,通过接收前端神经元输出信息,和读取当前神经元信息,计算当前人工神经元输出信息或当前脉冲神经元输出信息,并进行输出。本发明所提供的复合模式神经元信息处理系统,可以根据任务的需求,配置相应的神经元工作模式,在针对不同的神经网络工作模式下的不同任务间切换时,只需要修改神经元工作模式配置参数即可,不同于仅仅支持人工神经网络模式的神经网络加速器方案,也不同于仅支持脉冲神经网络的神经形态方案,本发明可以在同一架构下,同时支持以人工神经网络模式为基础的机器学习应用和以脉冲神经网络为基础的计算神经科学应用,丰富类脑计算平台的处理信息类型,降低了不同神经网络工作模式下的多任务执行的成本,并提高了不同神经网络工作模式下的多任务的执行效率。
图8为另一个实施例的多模式神经网络信息处理系统的结构示意图,如图8所示的多模式神经网络信息处理系统包括:
前端人工神经元输出信息接收单元100a,用于接收前端人工神经元输出的膜电位信息、前端人工肝神经元与当前人工神经元的连接权重索引。
当前人工神经元信息读取单元200a,用于读取当前人工神经元偏置信息。
人工神经元连接权重读取单元300a,用于根据所述前端人工神经元与当前人工神经元的连接权重索引,读取前人工端神经元与当前人工神经元的连接权重。
当前人工神经元输出信息计算单元400a,用于根据所述前端人工神经元输出的膜电位信息、所述前端人工神经元与当前人工神经元的连接权重、所述当前人工神经元偏置信息,通过预设的人工神经元激活函数,计算当前人工神经元输出信息。
本实施例所提供的复合模式神经元信息处理系统,根据任务的需求,配置为人工神经元工作模式,可以实现目前大多数的人工神经网络模型,支撑类脑计算平台在机器学习领域的应用。
图9为又一个实施例的多模式神经网络信息处理系统的结构示意图,如图9所示的多模式神经网络信息处理系统包括:
电位极值读取单元500a,用于读取电位极值,以及与所述电位极值对应的极值神经元标识;
电位极值比较单元600a,用于将所述当前人工神经元输出信息和所述电位极值进行比较,若所述当前人工神经元输出信息大于或等于所述电位极值,则
电位极值更新单元700a,用于将所述电位极值更新为所述当前人工神经元输出信息,并将所述极值神经元标识更新为当前人工神经元的标识。
在本实施例中,所述当前人工神经元输出信息和所述电位极值进行比较,若所述当前人工神经元输出信息大于或等于所述电位极值,则将所述电位极值更新为所述人工神经元输出信息,可以使神经网络直接在卷积层完成池化步骤的操作,而不需要为池化层神经元分配物理空间,大大节约神经元资源,进而降低神经网络的构建成本。
图10为再一个实施例的多模式神经网络信息处理系统的结构示意图,如图10所示的多模式神经网络信息处理系统包括:
第一发放使能标识读取单元800a,用于读取第一发放使能标识,所述第一发放使能标识包括允许发放数据或不允许发放数据,当所述第一发放使能标识为允许发放数据时。
人工神经元发放数据类型读取单元900a,用于读取人工神经元发放数据类型参数,所述人工神经元发放数据类型包括:发放所述当前人工神经元输出信息,发放所述电位极值、发放所述电位极值对应的极值神经元标识其中的一种。
人工神经元发放数据类型确定单元910a,用于根据所述人工神经元发放数据类型参数,确定所述当前人工神经元最终输出信息。
当前人工神经元输出信息输出单元920a,用于输出所述当前人工神经元最终输出信息。
在本实施例中,通过设置发放使能标识和人工神经元发放数据类型参数,确定当前人工神经元输出信息,使得人工神经元的输出的可控性更高,发放使能标志可以配置有的神经元不允许发放数据,而只用作中间辅助计算神经元,这对于一些需要多神经元协作完成的功能是非常必要的,另外,发放使能标志和发放类型可以配合工作,将设定区域的神经元输出信息,缩小为1个当前神经元输出信息(该神经元输出信息为设定区域的各神经元输出信息中的极大值),完成直接最大池化的操作。
图11为再一个实施例的多模式神经网络信息处理系统的结构示意图,如图11所示的多模式神经网络信息处理系统包括:
前端脉冲神经元输出信息接收单元100b,用于接收前端脉冲神经元输出的脉冲尖端信息、前端脉冲神经元与当前脉冲神经元的连接权重索引。
当前脉冲神经元信息读取单元200b,所述当前脉冲神经元信息读取单元,用于读取当前时间窗宽度、当前时间窗内脉冲尖端信息序列、历史膜电位信息和膜电位泄漏信息。
脉冲神经元连接权重读取单元300b,用于根据所述前端脉冲神经元与当前脉冲神经元的连接权重索引,读取前端脉冲神经元与当前脉冲神经元的连接权重。
时间窗内脉冲尖端信息序列更新单元400b,用于根据所述前端脉冲神经元输出的脉冲尖端信息,和所述当前时间窗内脉冲尖端信息序列,更新所述当前时间窗内脉冲尖端信息序列,获取当前时间窗内脉冲尖端信息更新序列。
前端脉冲神经元输入信息计算单元500b,用于根据所述当前时间窗宽度、所述当前时间窗内脉冲尖端信息更新序列,通过衰减函数计算前端脉冲神经元输入信息。
脉冲神经元输出信息计算单元600b,用于根据所述前端脉冲神经元输入信息、所述前端脉冲神经元与当前脉冲神经元的连接权重、所述历史膜电位信息、所述膜电位泄露信息,通过脉冲神经元计算模型,计算当前脉冲神经元输出信息。
在本实施例中,根据所述前端脉冲神经元输出的脉冲尖端信息,和所述当前时间窗内脉冲尖端信息序列,更新所述当前时间窗内脉冲尖端信息序列,获取当前时间窗内脉冲尖端信息更新序列,根据所述当前时间窗宽度、所述前端脉冲神经元与当前脉冲神经元的连接权重,通过衰减函数计算前端脉冲神经元输入信息,可以支持具有时间深度的时空脉冲神经网络模型,相比于时间深度仅仅为一的神经网络技术方案,可以大大提高脉冲神经网络的时空信息编码能力,丰富脉冲神经网络的应用空间。
图12为再一个实施例的多模式神经网络信息处理系统的结构示意图,如图12所示的多模式神经网络信息处理系统包括:
阈值电位获取单元700b,用于获取阈值电位;包括阈值信息接收子单元,用于读取随机阈值掩模电位、阈值偏置和随机阈值;阈值随机叠加量获取子单元,用于将所述随机阈值和所述随机阈值掩模电位进行按位与操作,获取阈值随机叠加量;阈值电位确定子单元,用于根据所述阈值随机叠加量和所述阈值偏置,确定所述阈值电位。
发放触发确定单元800b,用于将所述当前脉冲神经元输出信息和所述阈值电位进行比较,根据比较结果确定发放触发标志信息,所述发放触发标志信息包括:发放触发或发放不触发。
当所述发放触发标志信息为发放触发时,
发放触发动作单元910b,用于复位不应期计时器,并更新所述历史膜电位信息为预设的复位膜电位信息。
当所述发放触发标志信息为发放不触发时,
发放不触发动作单元920b,包括不应期判断子单元,用于读取不应期宽度和不应期计时器的当前时间步;并根据所述不应期宽度和所述不应期计时器的当前时间步,判断当前时间是否在不应期内,若不应期判断子单元判断结果为当前时间在所述不应期内,不应期内运行子单元,用于将所述不应期计时器累加计时一个时间步,不更新所述历史膜电位信息;若不应期判断子单元判断结果为当前时间不在所述不应期内,不应期外运行子单元,用于将所述不应期计时器累加计时一个时间步,并更新所述历史膜电位信息为所述当前脉冲神经元输出信息。
第二发放使能标识读取单元930b,用于读取第二发放使能标识,所述第二发放使能标识包括允许发放数据或不允许发放数据,当所述第二发放使能标识为允许发放数据时,所述发放触发标志信息读取单元,用于读取所述发放触发标志信息,当所述发放触发标志信息为发放触发时;当前脉冲神经元输出信息输出单元,用于输出所述当前脉冲神经元输出信息。
在本实施例中,通过设置发放使能标识和发放触发标志,确定当前脉冲神经元输出信息,使得脉冲神经元的输出的可控性更高,发放使能标志可以配置有的神经元不允许发放数据,而只用作中间辅助计算神经元,这对于一些需要多神经元协作完成的功能是非常必要的。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种复合模式神经元信息处理方法,其特征在于,所述方法包括:
读取神经元工作模式配置参数,所述神经元工作模式配置参数包括人工神经元工作模式配置参数或脉冲神经元工作模式配置参数;
根据所述神经元工作模式配置参数,配置当前神经元工作模式,所述当前神经元工作模式包括人工神经元工作模式或脉冲神经元工作模式;
接收前端神经元输出信息,所述前端神经元输出信息包括前端人工神经元输出信息或前端脉冲神经元输出信息;
读取当前神经元信息,所述当前神经元信息包括当前人工神经元信息或当前脉冲神经元信息;
根据所述前端神经元输出信息和所述当前神经元信息,计算当前神经元输出信息,包括根据所述前端人工神经元输出信息和所述当前人工神经元信息,计算当前人工神经元输出信息,或根据所述前端脉冲神经元输出信息和所述当前脉冲神经元信息,计算当前脉冲神经元输出信息;
在所述计算当前脉冲神经元输出信息之后,所述方法还包括:
获取阈值电位,包括:
读取随机阈值掩模电位、阈值偏置和随机阈值,其中,所述随机阈值掩模电位用于限制阈值增量的范围;
将所述随机阈值和所述随机阈值掩模电位进行按位与操作,获取阈值随机叠加量;
根据所述阈值随机叠加量和所述阈值偏置,确定所述阈值电位;
将所述当前脉冲神经元输出信息和所述阈值电位进行比较,根据比较结果确定发放触发标志信息,所述发放触发标志信息包括:发放触发或发放不触发;当所述发放触发标志信息为发放触发时,
复位不应期计时器,并更新所述当前脉冲神经元信息中的历史膜电位信息为预设的复位膜电位信息;
输出所述当前人工神经元输出信息或所述当前脉冲神经元输出信息。
2.根据权利要求1所述的复合模式神经元信息处理方法,其特征在于:
所述前端人工神经元输出信息包括:前端人工神经元输出的膜电位信息、前端人工神经元与当前人工神经元的连接权重索引;
所述当前人工神经元信息包括:当前人工神经元偏置信息;
则所述根据所述前端人工神经元输出的膜电位信息和所述当前人工神经元信息,计算当前人工神经元输出信息,包括:
根据所述前端人工神经元与当前人工神经元的连接权重索引,读取前端人工神经元与当前人工神经元的连接权重;
根据所述前端人工神经元输出的膜电位信息、所述前端人工神经元与当前人工神经元的连接权重、所述当前人工神经元偏置信息,通过预设的人工神经元激活函数,计算当前人工神经元输出信息。
3.根据权利要求2所述的复合模式神经元信息处理方法,其特征在于,在根据所述前端人工神经元输出的膜电位信息、所述前端人工神经元与当前人工神经元的连接权重、所述当前人工神经元偏置信息,通过预设的人工神经元激活函数,计算当前人工神经元输出信息的步骤之后,所述方法还包括:
读取电位极值,以及与所述电位极值对应的极值神经元标识;
将所述当前人工神经元输出信息和所述电位极值进行比较,若所述当前人工神经元输出信息大于或等于所述电位极值,则
将所述电位极值更新为所述当前人工神经元输出信息,并将所述极值神经元标识更新为当前人工神经元的标识。
4.根据权利要求3所述的复合模式神经元信息处理方法,其特征在于,所述输出所述当前人工神经元输出信息,包括:
读取第一发放使能标识,所述第一发放使能标识包括允许发放数据或不允许发放数据;
当所述第一发放使能标识为允许发放数据时,读取人工神经元发放数据类型参数,所述人工神经元发放数据类型包括:发放所述当前人工神经元输出信息、发放所述电位极值、发放所述电位极值对应的极值神经元标识其中的一种;
根据所述人工神经元发放数据类型参数,确定所述当前人工神经元最终输出信息;
输出所述当前人工神经元最终输出信息。
5.根据权利要求1所述的复合模式神经元信息处理方法,其特征在于:
所述前端脉冲神经元输出信息包括:前端脉冲神经元输出的脉冲尖端信息、前端脉冲神经元与当前脉冲神经元的连接权重索引;
所述当前脉冲神经元信息包括:当前时间窗宽度、当前时间窗内脉冲尖端信息序列、历史膜电位信息和膜电位泄漏信息;
则根据所述前端脉冲神经元输出信息和所述当前脉冲神经元信息,计算当前脉冲神经元输出信息,包括:
根据所述前端脉冲神经元与当前脉冲神经元的连接权重索引,读取前端脉冲神经元与当前脉冲神经元的连接权重;
根据所述前端脉冲神经元输出的脉冲尖端信息,和所述当前时间窗内脉冲尖端信息序列,更新所述当前时间窗内脉冲尖端信息序列,获取当前时间窗内脉冲尖端信息更新序列;
根据所述当前时间窗宽度、所述当前时间窗内脉冲尖端信息更新序列,通过衰减函数计算前端脉冲神经元输入信息;
根据所述前端脉冲神经元输入信息、所述前端脉冲神经元与当前脉冲神经元的连接权重、所述历史膜电位信息、所述膜电位泄露信息,通过脉冲神经元计算模型,计算当前脉冲神经元输出信息。
6.根据权利要求1所述的复合模式神经元信息处理方法,其特征在于,在将所述当前脉冲神经元输出信息和所述阈值电位进行比较,根据比较结果确定发放触发标志信息的步骤之后,所述方法还包括:
当所述发放触发标志信息为发放不触发时,读取不应期宽度和不应期计时器的当前时间步;
根据所述不应期宽度和所述不应期计时器的当前时间步,判断当前时间是否在不应期内,若当前时间在所述不应期内,将所述不应期计时器累加计时一个时间步,不更新所述历史膜电位信息;
若当前时间不在所述不应期内,将所述不应期计时器累加计时一个时间步,并更新所述历史膜电位信息为所述当前脉冲神经元输出信息。
7.根据权利要求1所述的复合模式神经元信息处理方法,其特征在于,所述输出所述当前脉冲神经元输出信息,包括:
读取第二发放使能标识,所述第二发放使能标识包括允许发放数据或不允许发放数据,当所述第二发放使能标识为允许发放数据时,
读取所述发放触发标志信息,当所述发放触发标志信息为发放触发时;
输出所述当前脉冲神经元输出信息。
8.一种复合模式神经元信息处理系统,其特征在于,包括:
神经元工作模式读取模块,用于读取神经元工作模式配置参数,所述神经元工作模式配置参数包括人工神经元工作模式配置参数或脉冲神经元工作模式配置参数;
神经元工作模式配置模块,用于根据所述神经元工作模式配置参数,配置当前神经元工作模式,所述当前神经元工作模式包括人工神经元工作模式或脉冲神经元工作模式;
前端神经元输出信息接收模块,用于接收前端神经元输出信息,所述前端神经元输出信息包括前端人工神经元输出信息或前端脉冲神经元输出信息;
当前神经元信息读取模块,用于读取当前神经元信息,所述当前神经元信息包括当前人工神经元信息或当前脉冲神经元信息;
当前神经元输出信息计算模块,用于根据所述前端神经元输出信息和所述当前神经元信息,计算当前神经元输出信息,包括根据所述前端人工神经元输出信息和所述当前人工神经元信息,计算当前人工神经元输出信息,或根据所述前端脉冲神经元输出信息和所述当前脉冲神经元信息,计算当前脉冲神经元输出信息;
所述复合模式神经元信息处理系统还包括:
阈值电位获取单元,用于在所述计算当前脉冲神经元输出信息之后,获取阈值电位;
所述阈值电位获取单元,包括:
阈值信息接收子单元,用于读取随机阈值掩模电位、阈值偏置和随机阈值,其中,所述随机阈值掩模电位用于限制阈值增量的范围;
阈值随机叠加量获取子单元,用于将所述随机阈值和所述随机阈值掩模电位进行按位与操作,获取阈值随机叠加量;
阈值电位确定子单元,用于根据所述阈值随机叠加量和所述阈值偏置,确定所述阈值电位;
发放触发确定单元,用于将所述当前脉冲神经元输出信息和所述阈值电位进行比较,根据比较结果确定发放触发标志信息,所述发放触发标志信息包括:发放触发或发放不触发;当所述发放触发标志信息为发放触发时,
发放触发动作单元,用于复位不应期计时器,并更新所述当前脉冲神经元信息中的历史膜电位信息为预设的复位膜电位信息;
当前神经元输出信息输出模块,用于输出所述当前人工神经元输出信息或所述当前脉冲神经元输出信息。
9.根据权利要求8所述的复合模式神经元信息处理系统,其特征在于:
所述前端神经元输出信息接收模块,包括前端人工神经元输出信息接收单元,所述前端人工神经元输出信息接收单元用于:接收前端人工神经元输出的膜电位信息、前端人工肝神经元与当前人工神经元的连接权重索引;
所述当前神经元信息读取模块,包括当前人工神经元信息读取单元,所述当前人工神经元信息读取单元用于:读取当前人工神经元偏置信息;
所述当前神经元输出信息计算模块,包括:
人工神经元连接权重读取单元,用于根据所述前端人工神经元与当前人工神经元的连接权重索引,读取前人工端神经元与当前人工神经元的连接权重;
当前人工神经元输出信息计算单元,用于根据所述前端人工神经元输出的膜电位信息、所述前端人工神经元与当前人工神经元的连接权重、所述当前人工神经元偏置信息,通过预设的人工神经元激活函数,计算当前人工神经元输出信息。
10.根据权利要求9所述的复合模式神经元信息处理系统,其特征在于,所述当前神经元输出信息计算模块,还包括:
电位极值读取单元,用于读取电位极值,以及与所述电位极值对应的极值神经元标识;
电位极值比较单元,用于将所述当前人工神经元输出信息和所述电位极值进行比较,若所述当前人工神经元输出信息大于或等于所述电位极值,则
电位极值更新单元,用于将所述电位极值更新为所述当前人工神经元输出信息,并将所述极值神经元标识更新为当前人工神经元的标识。
11.根据权利要求10所述的复合模式神经元信息处理系统,其特征在于,所述当前神经元输出信息输出模块,还包括:
第一发放使能标识读取单元,用于读取第一发放使能标识,所述第一发放使能标识包括允许发放数据或不允许发放数据,当所述第一发放使能标识为允许发放数据时,
人工神经元发放数据类型读取单元,用于读取人工神经元发放数据类型参数,所述人工神经元发放数据类型包括:发放所述当前人工神经元输出信息,发放所述电位极值、发放所述电位极值对应的极值神经元标识其中的一种;
人工神经元发放数据类型确定单元,用于根据所述人工神经元发放数据类型参数,确定所述当前人工神经元最终输出信息;
当前人工神经元输出信息输出单元,用于输出所述当前人工神经元最终输出信息。
12.根据权利要求8所述的复合模式神经元信息处理系统,其特征在于:
所述前端神经元输出信息接收模块,包括前端脉冲神经元输出信息接收单元,所述前端脉冲神经元输出信息接收单元用于:接收前端脉冲神经元输出的脉冲尖端信息、前端脉冲神经元与当前脉冲神经元的连接权重索引;
所述当前神经元信息读取模块,包括当前脉冲神经元信息读取单元,所述当前脉冲神经元信息读取单元用于:读取当前时间窗宽度、当前时间窗内脉冲尖端信息序列、历史膜电位信息和膜电位泄漏信息;
所述当前神经元输出信息计算模块,包括:
脉冲神经元连接权重读取单元,用于根据所述前端脉冲神经元与当前脉冲神经元的连接权重索引,读取前端脉冲神经元与当前脉冲神经元的连接权重;
时间窗内脉冲尖端信息序列更新单元,用于根据所述前端脉冲神经元输出的脉冲尖端信息,和所述当前时间窗内脉冲尖端信息序列,更新所述当前时间窗内脉冲尖端信息序列,获取当前时间窗内脉冲尖端信息更新序列;
前端脉冲神经元输入信息计算单元,用于根据所述当前时间窗宽度、所述当前时间窗内脉冲尖端信息更新序列通过衰减函数计算前端脉冲神经元输入信息;
脉冲神经元输出信息计算单元,用于根据所述前端脉冲神经元输入信息、所述前端脉冲神经元与当前脉冲神经元的连接权重、所述历史膜电位信息、所述膜电位泄露信息,通过脉冲神经元计算模型,计算当前脉冲神经元输出信息。
13.根据权利要求8所述的复合模式神经元信息处理系统,其特征在于,还包括:
当所述发放触发确定单元,确定的发放触发标志信息为发放不触发时,
发放不触发动作单元,包括:
不应期判断子单元,用于读取不应期宽度和不应期计时器的当前时间步;并根据所述不应期宽度和所述不应期计时器的当前时间步,判断当前时间是否在不应期内,若不应期判断子单元判断结果为当前时间在所述不应期内,
不应期内运行子单元,用于将所述不应期计时器累加计时一个时间步,不更新所述历史膜电位信息;
若不应期判断子单元判断结果为当前时间不在所述不应期内,
不应期外运行子单元,用于将所述不应期计时器累加计时一个时间步,并更新所述历史膜电位信息为所述当前脉冲神经元输出信息。
14.根据权利要求8所述的复合模式神经元信息处理系统,其特征在于,所述当前神经元输出信息输出模块,包括:
第二发放使能标识读取单元,用于读取第二发放使能标识,所述第二发放使能标识包括允许发放数据或不允许发放数据,当所述第二发放使能标识为允许发放数据时,
所述发放触发标志信息读取单元,用于读取所述发放触发标志信息,当所述发放触发标志信息为发放触发时;
当前脉冲神经元输出信息输出单元,用于输出所述当前脉冲神经元输出信息。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710041892.3A CN106875004B (zh) | 2017-01-20 | 2017-01-20 | 复合模式神经元信息处理方法和系统 |
PCT/CN2017/114661 WO2018133568A1 (zh) | 2017-01-20 | 2017-12-05 | 复合模式神经元信息处理方法、系统及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710041892.3A CN106875004B (zh) | 2017-01-20 | 2017-01-20 | 复合模式神经元信息处理方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106875004A CN106875004A (zh) | 2017-06-20 |
CN106875004B true CN106875004B (zh) | 2019-09-10 |
Family
ID=59158426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710041892.3A Active CN106875004B (zh) | 2017-01-20 | 2017-01-20 | 复合模式神经元信息处理方法和系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106875004B (zh) |
WO (1) | WO2018133568A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106875004B (zh) * | 2017-01-20 | 2019-09-10 | 北京灵汐科技有限公司 | 复合模式神经元信息处理方法和系统 |
CN107563503A (zh) * | 2017-09-14 | 2018-01-09 | 胡明建 | 一种可编码择阀值择函数人工神经元的设计方法 |
CN107545304A (zh) * | 2017-09-16 | 2018-01-05 | 胡明建 | 一种根据网络需求改变激活函数人工神经元的设计方法 |
CN107578096A (zh) * | 2017-09-21 | 2018-01-12 | 胡明建 | 一种压频式择端人工神经元的设计方法 |
CN107578097A (zh) * | 2017-09-25 | 2018-01-12 | 胡明建 | 一种多阀值多函数反馈人工神经元的设计方法 |
CN107609640A (zh) * | 2017-10-01 | 2018-01-19 | 胡明建 | 一种阀值择端分级电位式人工神经元的设计方法 |
CN108171326B (zh) * | 2017-12-22 | 2020-08-04 | 清华大学 | 神经网络的数据处理方法、装置、芯片、设备和存储介质 |
CN108764464B (zh) * | 2018-04-12 | 2020-10-16 | 清华大学 | 神经元信息发送方法、装置和存储介质 |
CN109685252B (zh) * | 2018-11-30 | 2023-04-07 | 西安工程大学 | 基于循环神经网络和多任务学习模型的建筑能耗预测方法 |
CN111082949B (zh) * | 2019-10-29 | 2022-01-28 | 广东工业大学 | 一种类脑计算机中脉冲数据包高效传输方法 |
WO2021114133A1 (en) * | 2019-12-11 | 2021-06-17 | Autonym Pte. Ltd. | Method and system for informed decision making |
CN114254106A (zh) * | 2020-09-25 | 2022-03-29 | 北京灵汐科技有限公司 | 文本分类方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1381721A (zh) * | 2002-06-04 | 2002-11-27 | 复旦大学 | 便携式智能电子鼻及其制备方法 |
CN104094295A (zh) * | 2012-02-08 | 2014-10-08 | 高通股份有限公司 | 用于尖峰神经计算的方法和装置 |
CN104798089A (zh) * | 2012-11-20 | 2015-07-22 | 高通股份有限公司 | 分段线性神经元建模 |
CN105095961A (zh) * | 2015-07-16 | 2015-11-25 | 清华大学 | 一种人工神经网络和脉冲神经网络的混合系统 |
CN105684002A (zh) * | 2013-10-28 | 2016-06-15 | 高通股份有限公司 | 用于使用监督式学习对种类加标签的方法和装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831476B (zh) * | 2012-08-22 | 2015-02-18 | 中国科学院上海光学精密机械研究所 | 脉冲神经网络模式探测装置和模式探测方法 |
CN105095966B (zh) * | 2015-07-16 | 2018-08-21 | 北京灵汐科技有限公司 | 人工神经网络和脉冲神经网络的混合计算系统 |
CN105303235A (zh) * | 2015-10-26 | 2016-02-03 | 清华大学 | 大规模分层神经网络的构建方法 |
CN106875004B (zh) * | 2017-01-20 | 2019-09-10 | 北京灵汐科技有限公司 | 复合模式神经元信息处理方法和系统 |
-
2017
- 2017-01-20 CN CN201710041892.3A patent/CN106875004B/zh active Active
- 2017-12-05 WO PCT/CN2017/114661 patent/WO2018133568A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1381721A (zh) * | 2002-06-04 | 2002-11-27 | 复旦大学 | 便携式智能电子鼻及其制备方法 |
CN104094295A (zh) * | 2012-02-08 | 2014-10-08 | 高通股份有限公司 | 用于尖峰神经计算的方法和装置 |
CN104798089A (zh) * | 2012-11-20 | 2015-07-22 | 高通股份有限公司 | 分段线性神经元建模 |
CN105684002A (zh) * | 2013-10-28 | 2016-06-15 | 高通股份有限公司 | 用于使用监督式学习对种类加标签的方法和装置 |
CN105095961A (zh) * | 2015-07-16 | 2015-11-25 | 清华大学 | 一种人工神经网络和脉冲神经网络的混合系统 |
Non-Patent Citations (2)
Title |
---|
R-TEMPOTRON: A ROBUST TEMPOTRON LEARNING RULE FOR SPIKE;MALU ZHANG etc;《2016 13th International Computer Conference on Wavelet Active Media Technology and Information Processing (ICCWAMTIP)》;20161231;全文 |
The tempotron: a neuron that learns spike timing-based decisions;Gutig R etc.;《Nature neuroscience》;20060331;第9卷(第3期);420-428页 |
Also Published As
Publication number | Publication date |
---|---|
CN106875004A (zh) | 2017-06-20 |
WO2018133568A1 (zh) | 2018-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106875004B (zh) | 复合模式神经元信息处理方法和系统 | |
Zhang et al. | Learning-based energy-efficient data collection by unmanned vehicles in smart cities | |
CN108803349B (zh) | 非线性多智能体系统的最优一致性控制方法及系统 | |
CN106875005B (zh) | 自适应阈值神经元信息处理方法和系统 | |
Boussabaine | The use of artificial neural networks in construction management: a review | |
JP6275868B2 (ja) | ニューラルウォッチドッグ | |
CN109697512B (zh) | 基于贝叶斯网络的个人数据分析方法及计算机存储介质 | |
CN106372720A (zh) | 一种用于实现深度脉冲神经网络的方法和系统 | |
CN112116090B (zh) | 神经网络结构搜索方法、装置、计算机设备及存储介质 | |
CN111612125B (zh) | 一种面向在线学习的新型htm时间池方法及其系统 | |
JP2017509952A (ja) | シャドウネットワークでニューラルネットワークを監視すること | |
Mehrtash et al. | Synaptic plasticity in spiking neural networks (SP/sup 2/INN): a system approach | |
CN106875003A (zh) | 自适应泄漏值神经元信息处理方法和系统 | |
CN111259738A (zh) | 人脸识别模型构建方法、人脸识别方法及相关装置 | |
CN113077052A (zh) | 用于稀疏奖励环境的强化学习方法、装置、设备及介质 | |
CN106850289A (zh) | 结合高斯过程与强化学习的服务组合方法 | |
Schäfer et al. | Simulation of spiking neural networks—architectures and implementations | |
CN113255890A (zh) | 一种基于ppo算法的强化学习智能体训练方法 | |
CN117670586A (zh) | 一种基于图神经网络的电网节点碳因子预测方法及系统 | |
WO2020133492A1 (zh) | 一种神经网络压缩方法及装置 | |
Soltani et al. | Optimized echo state Network based on PSO and Gradient Descent for choatic time series prediction | |
CN112700099A (zh) | 基于强化学习和运筹学的资源调度规划方法 | |
CN116523001A (zh) | 电网薄弱线路识别模型构建方法、装置和计算机设备 | |
US20210042621A1 (en) | Method for operation of network model and related product | |
KR20160132850A (ko) | 뉴로모픽 모델 개발을 위한 콘텍스트 실시간 피드백 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20180213 Address after: 100036 Beijing city Haidian District West Sanhuan Road No. 10 wanghailou B block two layer 200-30 Applicant after: Beijing Ling Xi Technology Co. Ltd. Address before: 100084 Haidian District Tsinghua Yuan Beijing No. 1 Applicant before: Tsinghua University |
|
GR01 | Patent grant | ||
GR01 | Patent grant |