CN106909969A - 神经网络信息接收方法和系统 - Google Patents

神经网络信息接收方法和系统 Download PDF

Info

Publication number
CN106909969A
CN106909969A CN201710056244.5A CN201710056244A CN106909969A CN 106909969 A CN106909969 A CN 106909969A CN 201710056244 A CN201710056244 A CN 201710056244A CN 106909969 A CN106909969 A CN 106909969A
Authority
CN
China
Prior art keywords
information
neuronal messages
duration
delay
neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710056244.5A
Other languages
English (en)
Other versions
CN106909969B (zh
Inventor
施路平
吴双
裴京
李国齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710056244.5A priority Critical patent/CN106909969B/zh
Publication of CN106909969A publication Critical patent/CN106909969A/zh
Priority to US16/477,422 priority patent/US11823030B2/en
Priority to PCT/CN2017/114670 priority patent/WO2018137412A1/zh
Application granted granted Critical
Publication of CN106909969B publication Critical patent/CN106909969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明涉及一种神经网络信息接收方法和系统,所述方法包括:获取神经元信息的接收起始时刻;接收前端神经元输出的前端神经元信息;根据所述接收起始时刻,所述前端神经元信息和延迟算法,获取所述前端神经元信息的延迟信息;根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息。由于复合信息包含了时延信息,时延信息的引入极大的丰富了神经元的运行模式,增强了整个神经网络的泛化能力,也使得神经元信息的处理结果,更加仿生。

Description

神经网络信息接收方法和系统
技术领域
本发明涉及人工神经网络技术领域,特别是涉及神经网络信息接收方法和系统。
背景技术
传统的神经网络研究绝大多数仍是在冯·诺依曼计算机软件并搭配高性能GPU(Graphic Processing Unit通用计算技术)平台中实现的,整个过程的硬件开销、能耗和信息处理速度都不容乐观。为此,近几年神经形态计算领域迅猛发展,即采用硬件电路直接构建神经网络从而模拟大脑的功能,试图实现大规模并行、低能耗、可支撑复杂模式学习的计算平台,并能将神经网络的处理结果,做到更加的仿生。
根据传统的神经网络中的神经信息接收方法计算出的神经元输出信息,与实际的仿生结果,差距过大。
发明内容
基于此,有必要针对传统神经元信息接收方法计算得出的神经元信息与实际仿生结果差距过大的问题,提供一种神经网络信息接收方法和系统,所述方法包括:
获取神经元信息的接收起始时刻;
接收前端神经元输出的前端神经元信息;
根据所述接收起始时刻,所述前端神经元信息和延迟算法,获取所述前端神经元信息的延迟信息;
根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息。
在其中一个实施例中,所述根据所述接收起始时刻,所述前端神经元信息和延迟算法,获取所述前端神经元信息的延迟信息,包括:
获取所述接收前端神经元输出的前端神经元信息的接收时刻;
根据所述接收时刻,和所述接收起始时刻,获取未接收到前端神经元信息的持续时长;
将所述持续时长确定为所述前端神经元信息的第一延迟信息。
在其中一个实施例中,所述根据所述接收起始时刻,所述前端神经元信息和延迟算法,获取所述前端神经元信息的延迟信息,还包括:
在所述接收起始时刻,获取与时长相关的物理参数的起始值,所述与时长相关的物理参数,包括参数的变化量与时长相关的物理参数;
在接收到前端神经元信息的时刻,获取所述与时长相关的物理参数的终止值,并根据所述起始值、所述终止值,和物理参数时长变化算法,计算所述与时长相关的物理参数的变化时长;
将所述与时长相关的物理参数的变化时长确定为所述前端神经元信息的第二延迟信息。
在其中一个实施例中,所述接收前端神经元输出的前端神经元信息,包括:
接收前端人工神经元输出的前端人工神经元信息,或接收前端脉冲神经元输出的前端脉冲神经元信息。
在其中一个实施例中,所述根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息,包括:
将所述前端神经元信息和所述延迟信息进行累加,确定所述前端神经元的第一复合信息。
在其中一个实施例中,所述根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息,还包括:
将所述前端神经元信息和所述延迟信息相乘,确定所述前端神经元的第二复合信息。
在其中一个实施例中,确定神经元信息的接收起始时刻,然后接收前端神经元输出的前端神经元信息,并根据所述接收起始时刻、所述前端神经元信息和预设的延迟算法,获取接收到前端神经元信息的接收起始时刻之后到接收到前端神经元信息的延迟信息,并将所述延迟信息和接收到的前端神经元信息进行逻辑计算,确定所述前端神经元输出的复合信息。由于复合信息包含了时延信息,时延信息的引入极大的丰富了神经元的运行模式,增强了整个神经网络的泛化能力,也使得神经元信息的处理结果,更加仿生。
在其中一个实施例中,采用直接计时的方法,将所述接收起始时刻确定为起始时刻、将接收到前端神经元信息的时刻确定为终止时刻,获取未接收到前端神经元信息的持续时长,并将所述持续时长作为延迟信息。本实施例采用了直接计时的方法获取延迟信息,实现方式简单直接,可在提高神经元信息的仿生度的同时,降低神经网络的实施成本。
在其中一个实施例中,采用计量与时长相关的物理参数的变化量的方法,将所述接收起始时刻,记录所述与时长相关的物理参数的起始值,在接收到所述前端神经元信息的时刻,记录所述与时长相关的物理参数的终止值,再根据所述起始值、所述终止值,和物理参数时长变化算法,计算所述与时长相关的物理参数的变化时长,将所述变化时长确定为所述前端神经元信息的延迟信息。本实施例采用了物理参数的变化量的测量方法,可选的实现方式多样,测量结果稳定可靠,在提高神经元信息的仿生度的同时,降低神经网络的实施成本。
在其中一个实施例中,可以在人工神经网络中,也可以在脉冲神经网络中,采用本实施例的神经网络信息接收方法,使用范围广泛,提高了人工神经网络信息或脉冲神经网络的信息处理结果的仿生度。
在其中一个实施例中,将所述前端神经元信息和所述延迟信息进行累加,确定所述前端神经元的第一复合信息,累加得出的第一复合信息,相当于在神经网络中加入了初始偏置量,实现了神经网络运行过程中的动态调节发放阈值,提高了神经网络信息处理结果的仿生度。
在其中一个实施例中,将所述前端神经元信息和所述延迟信息相乘,确定所述前端神经元的第二复合信息,相乘后获取的前端神经元信息相当于在神经网络中加入了缩放因子,调节神经元的敏感度,使神经网络能兼容低精度大范围和高精度小范围的不同的应用领域,并在不同的应用领域中,提高神经网络信息处理结果的仿生度。
本发明还提供一种神经网络信息接收系统,包括:
接收起始时刻获取模块,用于获取神经元信息的接收起始时刻;
前端神经元信息接收模块,用于接收前端神经元输出的前端神经元信息;
延迟信息计算模块,用于根据所述接收起始时刻,所述前端神经元信息和延迟算法,获取所述前端神经元信息的延迟信息;
复合信息获取模块,用于根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息。
在其中一个实施例中,所述延迟信息计算模块,包括:
终止时刻确定单元,用于获取所述接收前端神经元输出的前端神经元信息的接收时刻;
持续时长获取单元,用于根据所述接收时刻,和所述接收起始时刻,获取未接收到前端神经元信息的持续时长;
第一延迟信息确定单元,用于将所述持续时长确定为所述前端神经元信息的第一延迟信息。
在其中一个实施例中,所述延迟信息计算模块,还包括:
物理参数起始值获取单元,用于在所述接收起始时刻,获取与时长相关的物理参数的起始值,所述与时长相关的物理参数,包括参数的变化量与时长相关的物理参数;
物理参数终止值获取单元,用于在接收到前端神经元信息的时刻,获取所述与时长相关的物理参数的终止值;
物理参数变化时长获取单元,用于根据所述起始值、所述终止值,和物理参数时长变化算法,计算所述与时长相关的物理参数的变化时长;
第二延迟信息确定单元,用于将所述与时长相关的物理参数的变化时长确定为所述前端神经元信息的第二延迟信息。
在其中一个实施例中,所述前端神经元信息接收模块:
用于接收前端人工神经元输出的前端人工神经元信息,或接收前端脉冲神经元输出的前端脉冲神经元信息。
在其中一个实施例中,所述复合信息获取模块,包括:
第一复合信息获取单元,用于将所述前端神经元信息和所述延迟信息进行累加,确定所述前端神经元的第一复合信息。
在其中一个实施例中,所述复合信息获取模块,还包括:
第二复合信息获取单元,用于将所述前端神经元信息和所述延迟信息相乘,确定所述前端神经元的第二复合信息。
在其中一个实施例中,确定神经元信息的接收起始时刻,然后接收前端神经元输出的前端神经元信息,并根据所述接收起始时刻、所述前端神经元信息和预设的延迟算法,获取接收到前端神经元信息的接收起始时刻之后到接收到前端神经元信息的延迟信息,并将所述延迟信息和接收到的前端神经元信息进行逻辑计算,确定所述前端神经元输出的复合信息。由于复合信息包含了时延信息,时延信息的引入极大的丰富了神经元的运行模式,增强了整个神经网络的泛化能力,也使得神经元信息的处理结果,更加仿生。
在其中一个实施例中,采用直接计时的方法,将所述接收起始时刻确定为起始时刻、将接收到前端神经元信息的时刻确定为终止时刻,获取未接收到前端神经元信息的持续时长,并将所述持续时长作为延迟信息。本实施例采用了直接计时的方法获取延迟信息,实现方式简单直接,可在提高神经元信息的仿生度的同时,降低神经网络的实施成本。
在其中一个实施例中,采用计量与时长相关的物理参数的变化量的方法,将所述接收起始时刻,记录所述与时长相关的物理参数的起始值,在接收到所述前端神经元信息的时刻,记录所述与时长相关的物理参数的终止值,再根据所述起始值、所述终止值,和物理参数时长变化算法,计算所述与时长相关的物理参数的变化时长,将所述变化时长确定为所述前端神经元信息的延迟信息。本实施例采用了物理参数的变化量的测量方法,可选的实现方式多样,测量结果稳定可靠,在提高神经元信息的仿生度的同时,降低神经网络的实施成本。
在其中一个实施例中,可以在人工神经网络中,也可以在脉冲神经网络中,采用本实施例的神经网络信息接收方法,使用范围广泛,提高了人工神经网络信息或脉冲神经网络的信息处理结果的仿生度。
在其中一个实施例中,将所述前端神经元信息和所述延迟信息进行累加,确定所述前端神经元的第一复合信息,累加得出的第一复合信息,相当于在神经网络中加入了初始偏置量,实现了神经网络运行过程中的动态调节发放阈值,提高了神经网络信息处理结果的仿生度。
在其中一个实施例中,将所述前端神经元信息和所述延迟信息相乘,确定所述前端神经元的第二复合信息,相乘后获取的前端神经元信息相当于在神经网络中加入了缩放因子,调节神经元的敏感度,使神经网络能兼容低精度大范围和高精度小范围的不同的应用领域,并在不同的应用领域中,提高神经网络信息处理结果的仿生度。
附图说明
图1为一个实施例的神经网络信息接收方法的流程示意图;
图2为另一个实施例的神经网络信息接收方法的流程示意图;
图3为又一个实施例的神经网络信息接收方法的流程示意图;
图4为一个实施例的复合信息的示意图;
图5为一个实施例的神经网络信息接收系统的结构示意图;
图6为另一个实施例的神经网络信息接收系统的结构示意图;
图7为又一个实施例的神经网络信息接收系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
图1为一个实施例的神经网络信息接收方法的流程示意图,如图1所示的神经网络信息接收方法,包括:
步骤S100,确定神经元信息的接收起始时刻。
具体的,所述神经元信息的接收起始时刻,是指根据任务的总需求整体设定好的,所有神经元的统一的接收起始时刻,或单个神经元的独立的接收起始时刻;也可以是在一个任务中,各神经元根据预设的接收起始时刻算法获取到的接收起始时刻,所述预设的接收起始时刻算法,可以根据神经网络的电路结构进行计算,也可以根据任务的需求,进行不同信息的接收起始时刻的计算。
当所述接收起始时刻确定后,当前神经元将在所述的接收起始时刻,开始记录未接收到前端神经元信息的延迟时长。
步骤S200,接收前端神经元输出的前端神经元信息。
具体的,所述接收前端神经元信息,包括在所述的接收起始时刻开始后的任意时刻接收到所述前端神经元信息。根据神经网络的任务需求,在所述接收起始时刻开始后的一定时长后,当前神经元可忽略所接收到的前端神经元信息,以实现对神经元信息的节点控制作用。
步骤S300,根据所述接收起始时刻,所述前端神经元信息和延迟算法,获取所述前端神经元信息的延迟信息。
具体的,根据所述接收起始时刻,以及接收到所述前端神经元信息的时刻,通过延迟算法,获取所述前端神经元信息的延迟信息。所述延迟算法,包括直接计时,或通过与时长相关的物理参数的变化量的计算,获取到延迟时长的方法。
步骤S400,根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息。
具体的,将所述延迟信息,和接收到的前端神经元信息,组成前端神经元输出的复合信息,将所述前端神经元信息的接收延迟也考虑到最终的复合信息中,神经元信息携带的信息量更加丰富,
在本实施例中,确定神经元信息的接收起始时刻,然后接收前端神经元输出的前端神经元信息,并根据所述接收起始时刻、所述前端神经元信息和预设的延迟算法,获取接收到前端神经元信息的接收起始时刻之后到接收到前端神经元信息的延迟信息,并将所述延迟信息和接收到的前端神经元信息进行逻辑计算,确定所述前端神经元输出的复合信息。由于复合信息包含了时延信息,时延信息的引入极大的丰富了神经元的运行模式,增强了整个神经网络的泛化能力,也使得神经元信息的处理结果,更加仿生。
图2为另一个实施例的神经网络信息接收方法的流程示意图,如图2所示的神经网络信息接收方法,包括:
步骤S100a,获取神经元信息的接收起始时刻。
具体的,同步骤S100。
步骤S200a,接收前端神经元输出的前端神经元信息,获取所述接收前端神经元输出的前端神经元信息的接收时刻。
具体的,在本实施例中,采用直接计时的方法,获取未接收到前端神经元信息的持续时长。将所述的接收起始时刻,确认为未接收到前端神经元信息的持续时长的起始时刻。在实际的使用中,可以使用数字电路的时域记分器。
步骤S300a,根据所述接收时刻,和所述接收起始时刻,获取未接收到前端神经元信息的持续时长。
具体的,将接收到前端神经元信息的时刻,确定为所述未接收到前端神经元信息的持续时长的终止时刻,利用所述终止时刻和所述起始时刻的时间差,获取所述未接收到前端神经元信息的持续时长。
步骤S400a,将所述持续时长确定为所述前端神经元信息的第一延迟信息。
具体的,将所述持续时长确定为第一延迟信息,所述第一延迟信息,是采用直接计时的方法,在确定好的接收起始时刻之后,获取到的前端神经元信息的接收延迟。
步骤S500a,根据所述前端神经元信息、所述第一延迟信息,确定所述前端神经元输出的复合信息。
具体的,将所述前端神经元信息和所述第一延迟信息,组合为所述前端神经元输出的复合信息。
在本实施例中,采用直接计时的方法,将所述接收起始时刻确定为起始时刻、将接收到前端神经元信息的时刻确定为终止时刻,获取未接收到前端神经元信息的持续时长,并将所述持续时长作为延迟信息。本实施例采用了直接计时的方法获取延迟信息,实现方式简单直接,可在提高神经元信息的仿生度的同时,降低神经网络的实施成本。
图3为又一个实施例的神经网络信息接收方法的流程示意图,如图3所示的神经网络信息接收方法,包括:
步骤S100b,获取神经元信息的接收起始时刻。
具体的,同步骤S100。
步骤S200b,接收前端神经元输出的前端神经元信息。
具体的,同步骤S200。
步骤S300b,在所述接收起始时刻,获取与时长相关的物理参数的起始值,所述与时长相关的物理参数,包括参数的变化量与时长相关的物理参数。
具体的,本实施例采用间接测量的方式,获取为接收到前端神经元信息的持续时长。其中,所述与时长相关的物理参数,包括与时长相关的电气参数,包括与时长相关的电压值和电流值等,所述与时长相关的电气参数,在起始值的基础上,所述电气参数的取值与时长相关。
步骤S400b,在接收到前端神经元信息的时刻,获取所述与时长相关的物理参数的终止值,并根据所述起始值、所述终止值,和物理参数时长变化算法,计算所述与时长相关的物理参数的变化时长。
具体的,在接收到前端神经元信息的时刻,获取所述与时长相关的物理参数的终止值,根据所述起始值和所述终止值,以及物理参数的时长变化算法,就可以计算出所述时长相关的物理参数的变化时长。在实际使用中,可以半导体器件计量所述与时长相关的物理参数,更加适用于未来的CrossBar结构类神经元计算单元。
步骤S500b,将所述与时长相关的物理参数的变化时长确定为所述前端神经元信息的第二延迟信息,所述的第二延迟信息,是根据与时长相关的物理参数计量出的,未接收到前端神经元信息的持续时长。
具体的,将所述与时长相关的物理参数的变化时长,确定为所述前端射精元信息的第二延迟信息。
步骤S600b,根据所述前端神经元信息、所述第二延迟信息,确定所述前端神经元输出的复合信息。
具体的,将所述前端神经元信息和所述第二延迟信息,组合为所述前端神经元输出的复合信息。
在本实施例中,采用计量与时长相关的物理参数的变化量的方法,将所述接收起始时刻,记录所述与时长相关的物理参数的起始值,在接收到所述前端神经元信息的时刻,记录所述与时长相关的物理参数的终止值,再根据所述起始值、所述终止值,和物理参数时长变化算法,计算所述与时长相关的物理参数的变化时长,将所述变化时长确定为所述前端神经元信息的延迟信息。本实施例采用了物理参数的变化量的测量方法,可选的实现方式多样,测量结果稳定可靠,在提高神经元信息的仿生度的同时,降低神经网络的实施成本。
在其中一个实施例中,所述接收前端神经元输出的前端神经元信息,包括:接收前端人工神经元输出的前端人工神经元信息,或接收前端脉冲神经元输出的前端脉冲神经元信息。所述前端神经元信息和所述第二延迟信息,组合为所述前端神经元输出的复合信息
具体的,本实施例所提供的神经网络信息接收方法,不但适用于人工神经网络,也适用于脉冲神经网络,所述利用所述前端神经元信息和所述延迟信息,组合为所述前端神经元输出的复合信息,包括利用所述前端人工神经元信息和所述延迟信息,组合为所述前端人工神经元输出的复合信息;或利用所述前端脉冲神经元信息和所述延迟信息,组合为所述前端脉冲神经元输出的复合信息。
在本实施例中,可以在人工神经网络中,也可以在脉冲神经网络中,采用本实施例的神经网络信息接收方法,使用范围广泛,提高了人工神经网络信息或脉冲神经网络的信息处理结果的仿生度。
在其中一个实施例中,所述根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息,包括:将所述前端神经元信息和所述延迟信息进行累加,确定所述前端神经元的第一复合信息。
具体的,所述将所述前端神经元信息和所述延迟信息进行累加,以脉冲神经元为例,
δ=Δt+LIF(θ)
其中,δ为脉冲神经元复合信息,Δt为延迟信息,LIF(θ)为接收到的脉冲神经元信息,LIF也可以是其它的函数。此时相当于泄漏积分方法LIF模型加入初始偏置量,以实现神经网络运行过程中动态调节发放阈值。同样可以通过编码定义使偏置量为较大的负数,从而使目标神经元处于强抑制状态,这在信息广播中十分有益。
在本实施例中,将所述前端神经元信息和所述延迟信息进行累加,确定所述前端神经元的第一复合信息,累加得出的第一复合信息,相当于在神经网络中加入了初始偏置量,实现了神经网络运行过程中的动态调节发放阈值,提高了神经网络信息处理结果的仿生度。
在其中一个实施例中,所述根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息,还包括:将所述前端神经元信息和所述延迟信息相乘,确定所述前端神经元的第二复合信息。
具体的,所述将所述前端神经元信息和所述延迟信息相乘,以脉冲神经元为例,
δ=Δt·LIF(θ)
其中,δ为脉冲神经元复合信息,Δt为延迟信息,LIF(θ)为接收到的脉冲神经元信息,LIF也可以是其它的函数。此时相当于泄漏积分方法LIF模型加入缩放因子,以调节神经元的敏感程度,使网络能兼容低精度大范围和高精度小范围的应用领域。同样可以定义Δt=-1,则当前神经元为抑制性神经元,从而区分两类不同的脉冲信号,抑制性神经元在网络中起到信息流节点控制作用。
在本实施例中,将所述前端神经元信息和所述延迟信息相乘,确定所述前端神经元的第二复合信息,相乘后获取的前端神经元信息相当于在神经网络中加入了缩放因子,调节神经元的敏感度,使神经网络能兼容低精度大范围和高精度小范围的不同的应用领域,并在不同的应用领域中,提高神经网络信息处理结果的仿生度。
图5为一个实施例的神经网络信息接收系统的结构示意图,如图5所示的神经网络信息接收系统包括:
接收起始时刻获取模块100,用于获取神经元信息的接收起始时刻。
前端神经元信息接收模块200,用于接收前端神经元输出的前端神经元信息。用于接收前端人工神经元输出的前端人工神经元信息,或接收前端脉冲神经元输出的前端脉冲神经元信息。
延迟信息计算模块300,用于根据所述接收起始时刻,所述前端神经元信息和延迟算法,获取所述前端神经元信息的延迟信息。
复合信息获取模块400,用于根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息。第一复合信息获取单元,用于将所述前端神经元信息和所述延迟信息进行累加,确定所述前端神经元的第一复合信息;第二复合信息获取单元,用于将所述前端神经元信息和所述延迟信息相乘,确定所述前端神经元的第二复合信息。
在本实施例中,确定神经元信息的接收起始时刻,然后接收前端神经元输出的前端神经元信息,并根据所述接收起始时刻、所述前端神经元信息和预设的延迟算法,获取接收到前端神经元信息的接收起始时刻之后到接收到前端神经元信息的延迟信息,并将所述延迟信息和接收到的前端神经元信息进行逻辑计算,确定所述前端神经元输出的复合信息。由于复合信息包含了时延信息,时延信息的引入极大的丰富了神经元的运行模式,增强了整个神经网络的泛化能力,也使得神经元信息的处理结果,更加仿生。
在本实施例中,可以在人工神经网络中,也可以在脉冲神经网络中,采用本实施例的神经网络信息接收方法,使用范围广泛,提高了人工神经网络信息或脉冲神经网络的信息处理结果的仿生度。将所述前端神经元信息和所述延迟信息进行累加,确定所述前端神经元的第一复合信息,累加得出的第一复合信息,相当于在神经网络中加入了初始偏置量,实现了神经网络运行过程中的动态调节发放阈值,提高了神经网络信息处理结果的仿生度。将所述前端神经元信息和所述延迟信息相乘,确定所述前端神经元的第二复合信息,相乘后获取的前端神经元信息相当于在神经网络中加入了缩放因子,调节神经元的敏感度,使神经网络能兼容低精度大范围和高精度小范围的不同的应用领域,并在不同的应用领域中,提高神经网络信息处理结果的仿生度。
图6为另一个实施例的神经网络信息接收系统的结构示意图,如图6所示的神经网络信息接收系统包括:
所述延迟信息计算模块,包括:
终止时刻确定单元310a,用于用于获取所述接收前端神经元输出的前端神经元信息的接收时刻;
持续时长获取单元320a,用于根据所述接收时刻,和所述接收起始时刻,获取未接收到前端神经元信息的持续时长;
第一延迟信息确定单元330a,用于将所述持续时长确定为所述前端神经元信息的第一延迟信息。
在本实施例中,采用直接计时的方法,将所述接收起始时刻确定为起始时刻、将接收到前端神经元信息的时刻确定为终止时刻,获取未接收到前端神经元信息的持续时长,并将所述持续时长作为延迟信息。本实施例采用了直接计时的方法获取延迟信息,实现方式简单直接,可在提高神经元信息的仿生度的同时,降低神经网络的实施成本。
图7为又一个实施例的神经网络信息接收系统的结构示意图,如图7所示的神经网络信息接收系统包括:
所述延迟信息计算模块,还包括:
物理参数起始值获取单元310b,用于在所述接收起始时刻,获取与时长相关的物理参数的起始值,所述与时长相关的物理参数,包括参数的变化量与时长相关的物理参数;
物理参数终止值获取单元320b,用于在接收到前端神经元信息的时刻,获取所述与时长相关的物理参数的终止值;
物理参数变化时长获取单元330b,用于根据所述起始值、所述终止值,和物理参数时长变化算法,计算所述与时长相关的物理参数的变化时长;
第二延迟信息确定单元340b,用于将所述与时长相关的物理参数的变化时长确定为所述前端神经元信息的第二延迟信息。
在本实施例中,采用计量与时长相关的物理参数的变化量的方法,将所述接收起始时刻,记录所述与时长相关的物理参数的起始值,在接收到所述前端神经元信息的时刻,记录所述与时长相关的物理参数的终止值,再根据所述起始值、所述终止值,和物理参数时长变化算法,计算所述与时长相关的物理参数的变化时长,将所述变化时长确定为所述前端神经元信息的延迟信息。本实施例采用了物理参数的变化量的测量方法,可选的实现方式多样,测量结果稳定可靠,在提高神经元信息的仿生度的同时,降低神经网络的实施成本。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种神经网络信息接收方法,其特征在于,所述方法包括:
获取神经元信息的接收起始时刻;
接收前端神经元输出的前端神经元信息;
根据所述接收起始时刻,所述前端神经元信息和延迟算法,获取所述前端神经元信息的延迟信息;
根据所述前端神经元信息和所述延迟信息确定所述前端神经元输出的复合信息。
2.根据权利要求1所述的神经网络信息接收方法,其特征在于,所述根据所述接收起始时刻,所述前端神经元信息和延迟算法,获取所述前端神经元信息的延迟信息,包括:
获取所述接收前端神经元输出的前端神经元信息的接收时刻;
根据所述接收时刻,和所述接收起始时刻,获取未接收到前端神经元信息的持续时长;
将所述持续时长确定为所述前端神经元信息的第一延迟信息。
3.根据权利要求1所述的神经网络信息接收方法,其特征在于,所述根据所述接收起始时刻,所述前端神经元信息和延迟算法,获取所述前端神经元信息的延迟信息,还包括:
在所述接收起始时刻,获取与时长相关的物理参数的起始值,所述与时长相关的物理参数,包括参数的变化量与时长相关的物理参数;
在接收到前端神经元信息的时刻,获取所述与时长相关的物理参数的终止值,并根据所述起始值、所述终止值和物理参数时长变化算法,计算所述与时长相关的物理参数的变化时长;
将所述与时长相关的物理参数的变化时长确定为所述前端神经元信息的第二延迟信息。
4.根据权利要求1所述的神经网络信息接收方法,其特征在于,所述接收前端神经元输出的前端神经元信息,包括:
接收前端人工神经元输出的前端人工神经元信息,或接收前端脉冲神经元输出的前端脉冲神经元信息。
5.根据权利要求1所述的神经网络信息接收方法,其特征在于,所述根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息,包括:
将所述前端神经元信息和所述延迟信息进行累加,确定所述前端神经元的第一复合信息。
6.根据权利要求1所述的神经网络信息接收方法,其特征在于,所述根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息,还包括:
将所述前端神经元信息和所述延迟信息相乘,确定所述前端神经元的第二复合信息。
7.一种神经网络信息接收系统,其特征在于,包括:
接收起始时刻获取模块,用于获取神经元信息的接收起始时刻;
前端神经元信息接收模块,用于接收前端神经元输出的前端神经元信息;
延迟信息计算模块,用于根据所述接收起始时刻,所述前端神经元信息和延迟算法,获取所述前端神经元信息的延迟信息;
复合信息获取模块,用于根据所述前端神经元信息、所述延迟信息,确定所述前端神经元输出的复合信息。
8.根据权利要求7所述的神经网络信息接收系统,其特征在于,所述延迟信息计算模块,包括:
终止时刻确定单元,用于获取所述接收前端神经元输出的前端神经元信息的接收时刻;
持续时长获取单元,用于根据所述接收时刻,和所述接收起始时刻,获取未接收到前端神经元信息的持续时长;
第一延迟信息确定单元,用于将所述持续时长确定为所述前端神经元信息的第一延迟信息。
9.根据权利要求7所述的神经网络信息接收系统,其特征在于,所述延迟信息计算模块,还包括:
物理参数起始值获取单元,用于在所述接收起始时刻,获取与时长相关的物理参数的起始值,所述与时长相关的物理参数,包括参数的变化量与时长相关的物理参数;
物理参数终止值获取单元,用于在接收到前端神经元信息的时刻,获取所述与时长相关的物理参数的终止值;
物理参数变化时长获取单元,用于根据所述起始值、所述终止值,和物理参数时长变化算法,计算所述与时长相关的物理参数的变化时长;
第二延迟信息确定单元,用于将所述与时长相关的物理参数的变化时长确定为所述前端神经元信息的第二延迟信息。
10.根据权利要求7所述的神经网络信息接收系统,其特征在于,所述前端神经元信息接收模块:
用于接收前端人工神经元输出的前端人工神经元信息,或接收前端脉冲神经元输出的前端脉冲神经元信息。
11.根据权利要求7所述的神经网络信息接收系统,其特征在于,所述复合信息获取模块,包括:
第一复合信息获取单元,用于将所述前端神经元信息和所述延迟信息进行累加,确定所述前端神经元的第一复合信息。
12.根据权利要求7所述的神经网络信息接收系统,其特征在于,所述复合信息获取模块,还包括:
第二复合信息获取单元,用于将所述前端神经元信息和所述延迟信息相乘,确定所述前端神经元的第二复合信息。
CN201710056244.5A 2017-01-25 2017-01-25 神经网络信息接收方法和系统 Active CN106909969B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710056244.5A CN106909969B (zh) 2017-01-25 2017-01-25 神经网络信息接收方法和系统
US16/477,422 US11823030B2 (en) 2017-01-25 2017-12-05 Neural network information receiving method, sending method, system, apparatus and readable storage medium
PCT/CN2017/114670 WO2018137412A1 (zh) 2017-01-25 2017-12-05 神经网络信息接收方法、发送方法、系统、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710056244.5A CN106909969B (zh) 2017-01-25 2017-01-25 神经网络信息接收方法和系统

Publications (2)

Publication Number Publication Date
CN106909969A true CN106909969A (zh) 2017-06-30
CN106909969B CN106909969B (zh) 2020-02-21

Family

ID=59207498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710056244.5A Active CN106909969B (zh) 2017-01-25 2017-01-25 神经网络信息接收方法和系统

Country Status (1)

Country Link
CN (1) CN106909969B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137412A1 (zh) * 2017-01-25 2018-08-02 清华大学 神经网络信息接收方法、发送方法、系统、设备及可读存储介质
US11537879B2 (en) 2017-07-03 2022-12-27 Tsinghua University Neural network weight discretizing method, system, device, and readable storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663428A (zh) * 2012-03-29 2012-09-12 中国科学院上海光学精密机械研究所 神经网络模式识别系统和模式识别方法
CN104094294A (zh) * 2012-02-08 2014-10-08 高通股份有限公司 用于尖峰神经计算的方法和装置
CN105095961A (zh) * 2015-07-16 2015-11-25 清华大学 一种人工神经网络和脉冲神经网络的混合系统
CN105095967A (zh) * 2015-07-16 2015-11-25 清华大学 一种多模态神经形态网络核
CN105099553A (zh) * 2015-08-31 2015-11-25 华南理工大学 一种基于神经元网络的可见光通信接收方法及其系统
US20160086077A1 (en) * 2014-09-19 2016-03-24 International Business Machines Corporation Self-timed, event-driven neurosynaptic core controller

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094294A (zh) * 2012-02-08 2014-10-08 高通股份有限公司 用于尖峰神经计算的方法和装置
CN102663428A (zh) * 2012-03-29 2012-09-12 中国科学院上海光学精密机械研究所 神经网络模式识别系统和模式识别方法
US20160086077A1 (en) * 2014-09-19 2016-03-24 International Business Machines Corporation Self-timed, event-driven neurosynaptic core controller
CN105095961A (zh) * 2015-07-16 2015-11-25 清华大学 一种人工神经网络和脉冲神经网络的混合系统
CN105095967A (zh) * 2015-07-16 2015-11-25 清华大学 一种多模态神经形态网络核
CN105099553A (zh) * 2015-08-31 2015-11-25 华南理工大学 一种基于神经元网络的可见光通信接收方法及其系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137412A1 (zh) * 2017-01-25 2018-08-02 清华大学 神经网络信息接收方法、发送方法、系统、设备及可读存储介质
US11823030B2 (en) 2017-01-25 2023-11-21 Tsinghua University Neural network information receiving method, sending method, system, apparatus and readable storage medium
US11537879B2 (en) 2017-07-03 2022-12-27 Tsinghua University Neural network weight discretizing method, system, device, and readable storage medium

Also Published As

Publication number Publication date
CN106909969B (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN106875005B (zh) 自适应阈值神经元信息处理方法和系统
CN107301509A (zh) 一种基于群智感知系统面向随机参与的群智感知激励方法
CN109085531A (zh) 基于神经网络的近场源到达角估计方法
CN106845633B (zh) 神经网络信息转换方法和系统
CN106909969A (zh) 神经网络信息接收方法和系统
CN106845632A (zh) 脉冲神经网络信息转换为人工神经网络信息的方法和系统
KR20160125967A (ko) 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치
CN108491927A (zh) 一种基于神经网络的数据处理方法和装置
CN109618288A (zh) 基于深度卷积神经网络的无线传感网距离测量系统及方法
CN108802491B (zh) 基于谐波源独立性的谐波发射水平估计求解新方法
Huang et al. Effect of Three Gorges Dam on Poyang Lake water level at daily scale based on machine learning
CN107145937A (zh) 基于弹性scad罚函数的回声状态网络时间序列预测方法
CN113723757A (zh) 决策生成模型训练方法、决策生成方法及装置
WO2018137412A1 (zh) 神经网络信息接收方法、发送方法、系统、设备及可读存储介质
CN115526333A (zh) 边缘场景下动态权重的联邦学习方法
CN110852440A (zh) 一种基于动态模糊神经网络的海洋锋探测方法
CN105706121B (zh) 神经网络模型中的多普勒效应处理
RU2579958C1 (ru) Искусственный нейрон
Yuanhao et al. Simulation of the flood process in the middle reaches of the Yellow River by a long-short term memory (LSTM) neuro network
CN113392574A (zh) 一种基于神经网络模型的汽油机次充模型进气量估算方法
CN116629344A (zh) 基于Ca-LIF神经元模型的Spike-BP片上学习方法、系统及处理器
CN106815638A (zh) 输入权重拓展的神经元信息处理方法和系统
CN106875010A (zh) 神经元权重信息处理方法和系统
Meng et al. Iono-neuromorphic implementation of spike-timing-dependent synaptic plasticity
CN106897768A (zh) 神经网络信息发送方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant