CN116523013B - 人工神经元及人工神经网络 - Google Patents

人工神经元及人工神经网络 Download PDF

Info

Publication number
CN116523013B
CN116523013B CN202310809515.5A CN202310809515A CN116523013B CN 116523013 B CN116523013 B CN 116523013B CN 202310809515 A CN202310809515 A CN 202310809515A CN 116523013 B CN116523013 B CN 116523013B
Authority
CN
China
Prior art keywords
threshold
output
signal
artificial
artificial neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310809515.5A
Other languages
English (en)
Other versions
CN116523013A (zh
Inventor
李元春
刘云新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202310809515.5A priority Critical patent/CN116523013B/zh
Publication of CN116523013A publication Critical patent/CN116523013A/zh
Application granted granted Critical
Publication of CN116523013B publication Critical patent/CN116523013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Logic Circuits (AREA)

Abstract

本发明实施例提供一种人工神经元及人工神经网络，涉及电子信息技术领域，该人工神经元包括相互之间并联连接的多个阈值筛选单元；多个阈值筛选单元包括正输出阈值筛选单元及负输出阈值筛选单元；多个阈值筛选单元通过接地端共地，并将输出端相连引出人工神经元的输出信号；对于正输出阈值筛选单元，输入信号大于阈值参数时输出正向脉冲信号，否则输出0；对于负输出阈值筛选单元，输入信号大于阈值参数时输出负向脉冲信号，否则输出0。本发明实施例提供的人工神经元及人工神经网络，避免了人工神经元的乘法计算，降低了计算复杂度和计算成本，有利于提高基于人工神经元构建的人工神经网络的推理能效。

Description

人工神经元及人工神经网络
技术领域
本发明实施例涉及电子信息技术领域，具体涉及一种人工神经元及人工神经网络。
背景技术
基于人工神经网络的深度学习技术在近年来取得快速的发展，并在智能安防、智能家居、智慧医疗、智慧交通等诸多领域产生很大的使用价值。目前人工神经网络底层大多使用基于乘法和加法的神经元，输入信号经过加权求和之后，再经过非线性激活层产生输出信号。在实际运算中，乘法操作往往计算开销较大，因为乘法器的硬件设计就比其他算术和逻辑运算操作更为复杂。因此，一个优化的思路就是对底层神经元进行改造，降低其计算复杂度及计算开销。
发明内容
针对现有技术存在的缺陷，本发明实施例提供一种人工神经元及人工神经网络。
本发明实施例提供一种人工神经元，包括：相互之间并联连接的多个阈值筛选单元；其中，所述多个阈值筛选单元包括第一数量的正输出阈值筛选单元及第二数量的负输出阈值筛选单元；所述第一数量的正输出阈值筛选单元的第一接地端和所述第二数量的负输出阈值筛选单元的第二接地端相连接后接地；所述第一数量的正输出阈值筛选单元的第一信号输出端和所述第二数量的负输出阈值筛选单元的第二信号输出端相连接后引出所述人工神经元的输出信号；其中：对于每个所述正输出阈值筛选单元，在对应的输入信号大于对应的阈值参数时，所述第一信号输出端输出正向脉冲信号，在对应的所述输入信号小于或等于所述阈值参数时输出信号为0；对于每个所述负输出阈值筛选单元，在对应的输入信号大于对应的阈值参数时，所述第一信号输出端输出负向脉冲信号，在对应的所述输入信号小于或等于所述阈值参数时输出信号为0。
根据本发明实施例提供的一种人工神经元，所述正输出阈值筛选单元包括第一电流源、第二电流源、第一二极管及第二二极管；所述第一电流源的电流值为所述正输出阈值筛选单元的所述输入信号，所述第二电流源的电流值为所述正输出阈值筛选单元的所述筛选参数；其中：所述第一电流源的负极和所述第二电流源的正极连接所述第一接地端，所述第一电流源的正极和所述第二电流源的负极连接所述第一二极管的阳极，所述第一二极管的阴极连接所述第一信号输出端，所述第二二极管的阴极连接所述第一二极管的阳极，所述第二二极管的阳极连接所述第一接地端。
根据本发明实施例提供的一种人工神经元，所述负输出阈值筛选单元包括第三电流源、第四电流源、第三二极管及第四二极管；所述第三电流源的电流值为所述负输出阈值筛选单元的所述输入信号，所述第四电流源的电流值为所述负输出阈值筛选单元的所述筛选参数；其中：所述第三电流源的正极和所述第四电流源的负极连接所述第二接地端，所述第三电流源的负极和所述第四电流源的正极连接所述第三二极管的阴极，所述第三二极管的阳极连接所述第二信号输出端，所述第四二极管的阳极连接所述第三二极管的阴极，所述第四二极管的阴极连接所述第二接地端。
根据本发明实施例提供的一种人工神经元，所述人工神经元的输出信号表示为：
；
其中，表示所述人工神经元的输出信号，/>表示所述人工神经元中所述多个阈值筛选单元的数量，/>表示所述人工神经元中第/>个阈值筛选单元的输入信号，/>表示所述人工神经元中第/>个阈值筛选单元的阈值参数；当所述第/>个阈值筛选单元为所述正输出阈值筛选单元时，/>表示所述正输出阈值筛选单元的所述第一信号输出端的信号；当所述第/>个阈值筛选单元为所述负输出阈值筛选单元时，/>表示所述负输出阈值筛选单元的所述第二信号输出端的信号。
根据本发明实施例提供的一种人工神经元，当所述第个阈值筛选单元为所述正输出阈值筛选单元时，/>表示为：
；
其中，表示所述第一信号输出端的信号，/>表示所述人工神经元中第/>个阈值筛选单元的所述输入信号，/>表示所述人工神经元中第/>个阈值筛选单元的所述阈值参数。
根据本发明实施例提供的一种人工神经元，当所述第个阈值筛选单元为所述负输出阈值筛选单元时，/>表示为：
；
其中，表示所述第二信号输出端的信号，/>表示所述人工神经元中第/>个阈值筛选单元的所述输入信号，/>表示所述人工神经元中第/>个阈值筛选单元的所述阈值参数。
根据本发明实施例提供的一种人工神经元，所述人工神经元的输入信号随机对应于所述正输出阈值筛选单元或所述负输出阈值筛选单元。
本发明实施例还提供一种人工神经网络，包括多个本发明实施例提供的人工神经元；其中，所述人工神经网络包括的多个人工神经元划分为多个分层，每个分层包括预设数量的所述人工神经元；所述人工神经网络的输入信号随机输入到第一分层的所述人工神经元的阈值筛选单元，前一分层的所述人工神经元的输出信号随机输入到下一分层的所述人工神经元的阈值筛选单元，最后一个分层的所述人工神经元的输出信号作为所述人工神经网络的输出信号。
本发明实施例提供的人工神经元及人工神经网络，包括相互之间并联连接的多个阈值筛选单元，通过阈值筛选单元的输入信号和阈值参数之间的比较得到各个阈值筛选单元的输出信号，并通过整合各个阈值筛选单元的输出信号得到人工神经元的输出信号，避免了人工神经元的乘法计算，降低了计算复杂度和计算成本，有利于提高基于人工神经元构建的人工神经网络的推理能效。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一种典型的人工神经元的示意图；
图2是本发明实施例提供的人工神经元的结构示意图；
图3是本发明实施例提供的人工神经元中正输出阈值筛选单元的结构示意图；
图4是本发明实施例提供的人工神经元中负输出阈值筛选单元的结构示意图；
图5是本发明实施例提供的人工神经网络的结构示意图之一；
图6是本发明实施例提供的人工神经网络的结构示意图之二。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是一种典型的人工神经元的示意图。如图1所示，该人工神经元接受多个输入信号，将其信号整合之后产生一个输出信号/>。
人工神经网络是由多个人工神经元组合在一起产生，一般是一种分层的结构，每层由并列的多个神经元组成。对于目前大规模流行的深度神经网络，其神经元结构采取“加权相乘-求和-非线性激活”的方式，其神经元可以描述为如下的形式：
；
其中，为权重、/>为输入信号个数、/>为激活函数（可以选择ReLU、sigmoid、tanh等函数）。
可以看出，这样的神经元结构需要进行个乘法操作、一个/>元素求和操作、以及一个激活操作。在实际运算中，乘法操作往往计算开销较大，因为乘法器的硬件设计就比其他算术和逻辑运算操作更为复杂。因此，一个优化的思路就是对底层神经元进行改造，降低其计算复杂度及计算开销。
图2是本发明实施例提供的人工神经元的结构示意图。如图2所示，该人工神经元100包括相互之间并联连接的多个阈值筛选单元1；其中，所述多个阈值筛选单元1包括第一数量的正输出阈值筛选单元及第二数量的负输出阈值筛选单元（由于可以根据实际需要设计正输出阈值筛选单元和负输出阈值筛选单元的数量，因此图2中未区分正输出阈值筛选单元和负输出阈值筛选单元）；所述第一数量的正输出阈值筛选单元的第一接地端和所述第二数量的负输出阈值筛选单元的第二接地端相连接后接地；所述第一数量的正输出阈值筛选单元的第一信号输出端和所述第二数量的负输出阈值筛选单元的第二信号输出端相连接后引出所述人工神经元100的输出信号y；其中：对于每个所述正输出阈值筛选单元，在对应的输入信号大于对应的阈值参数时，所述第一信号输出端输出正向脉冲信号，在对应的所述输入信号小于或等于所述阈值参数时输出信号为0；对于每个所述负输出阈值筛选单元，在对应的输入信号大于对应的阈值参数时，所述第一信号输出端输出负向脉冲信号，在对应的所述输入信号小于或等于所述阈值参数时输出信号为0。
本发明实施例人工神经元的计算可以用阈值筛选操作实现，在大大降低神经元乘法操作复杂性的同时，保持神经网络的通用近似能力（即拟合任何函数的能力）。其中，该人工神经元利用阈值筛选单元1实现阈值筛选操作。
人工神经元包含的并联连接的多个阈值筛选单元1中，包括第一数量的正输出阈值筛选单元及第二数量的负输出阈值筛选单元，其中，正输出阈值筛选单元及负输出阈值筛选单元均至少为1个。第一数量可以大于第二数量、等于第二数量或小于第二数量。第一数量的正输出阈值筛选单元的第一接地端和第二数量的负输出阈值筛选单元的第二接地端均相互连接并通过公共点接地。第一数量的正输出阈值筛选单元的第一信号输出端和第二数量的负输出阈值筛选单元的第二信号输出端均相互连接后引出人工神经元的输出信号。也即，第一数量的正输出阈值筛选单元的输出信号和第二数量的负输出阈值筛选单元的输出信号之和（矢量和）作为人工神经元最终输出的信号。
正输出阈值筛选单元的阈值筛选操作为：在对应的输入信号大于对应的阈值参数时，第一信号输出端输出正向脉冲信号，在对应的输入信号小于或等于阈值参数时输出信号为0。其中，输入信号和阈值参数与正输出阈值筛选单元相对应，不同的正输出阈值筛选单元可能具有不同的输入信号和阈值参数。正输出阈值筛选单元的阈值参数用于通过与其输入信号进行大小比较，从而得到正输出阈值筛选单元的不同的输出信号。
负输出阈值筛选单元的阈值筛选操作为：在对应的输入信号大于对应的阈值参数时，第一信号输出端输出负向脉冲信号，在对应的输入信号小于或等于阈值参数时输出信号为0。其中，输入信号和阈值参数与负输出阈值筛选单元相对应，不同的负输出阈值筛选单元可能具有不同的输入信号和阈值参数。负输出阈值筛选单元的阈值参数用于通过与其输入信号进行大小比较，从而得到负输出阈值筛选单元的不同的输出信号。
本发明实施例提供的人工神经元，通过基于输入信号和阈值参数的阈值筛选操作实现，也可以称作阈值神经元。其中，阈值参数可以通过训练过程确定，也可以预先设定。
本发明实施例提供的人工神经元，包括相互之间并联连接的多个阈值筛选单元，通过阈值筛选单元的输入信号和阈值参数之间的比较得到各个阈值筛选单元的输出信号，并通过整合各个阈值筛选单元的输出信号得到人工神经元的输出信号，避免了人工神经元的乘法计算，降低了计算复杂度和计算成本，有利于提高基于人工神经元构建的人工神经网络的推理能效。
图3是本发明实施例提供的人工神经元中正输出阈值筛选单元的结构示意图。如图3所示，所述正输出阈值筛选单元包括第一电流源Is1、第二电流源Is2、第一二极管D1及第二二极管D2；所述第一电流源Is1的电流值为所述正输出阈值筛选单元的所述输入信号，所述第二电流源Is2的电流值为所述正输出阈值筛选单元的所述筛选参数；其中：所述第一电流源Is1的负极和所述第二电流源Is2的正极连接所述第一接地端G1，所述第一电流源Is1的正极和所述第二电流源Is2的负极连接所述第一二极管D1的阳极，所述第一二极管D1的阴极连接所述第一信号输出端Y1，所述第二二极管D2的阴极连接所述第一二极管D1的阳极，所述第二二极管D2的阳极连接所述第一接地端G1。
当第一电流源Is1的电流值大于第二电流源Is2的电流值时，如第一电流源Is1的电流值为8mA，第二电流源Is2的电流值为5mA，第一二极管D1导通，第二二极管D2截止，第一信号输出端Y1输出正向脉冲信号。
当第一电流源Is1的电流值小于或等于第二电流源Is2的电流值时，如第一电流源Is1的电流值为2mA，第二电流源Is2的电流值为4mA，第一二极管D1截止，第一信号输出端Y1输出信号为0。第二二极管D2导通，电流通过第二二极管D2实现分流。
本发明实施例提供的人工神经元，通过利用第一电流源、第二电流源、第一二极管及第二二极管简便地实现了正输出阈值筛选单元，降低了人工神经元的实现成本。
图4是本发明实施例提供的人工神经元中负输出阈值筛选单元的结构示意图。如图4所示，该负输出阈值筛选单元包括：第三电流源Is3、第四电流源Is4、第三二极管D3及第四二极管D4；所述第三电流源Is3的电流值为所述负输出阈值筛选单元的所述输入信号，所述第四电流源Is4的电流值为所述负输出阈值筛选单元的所述筛选参数；其中：所述第三电流源Is3的正极和所述第四电流源Is4的负极连接所述第二接地端G2，所述第三电流源Is3的负极和所述第四电流源Is4的正极连接所述第三二极管D3的阴极，所述第三二极管D3的阳极连接所述第二信号输出端Y2，所述第四二极管D4的阳极连接所述第三二极管D3的阴极，所述第四二极管D4的阴极连接所述第二接地端G2。
当第三电流源Is3的电流值大于第四电流源Is4的电流值时，如第三电流源Is3的电流值为7mA，第四电流源Is4的电流值为4mA，第三二极管D3导通，第四二极管D4截止，第二信号输出端Y2输出负向脉冲信号。
当第三电流源Is3的电流值小于或等于第四电流源Is4的电流值时，如第三电流源Is3的电流值为3mA，第四电流源Is4的电流值为5mA，第三二极管D3截止，第二信号输出端Y2输出信号为0。第四二极管D4导通，电流通过第四二极管D4实现分流。
本发明实施例提供的人工神经元，通过利用第三电流源、第四电流源、第三二极管及第四二极管简便地实现了负输出阈值筛选单元，降低了人工神经元的实现成本。
根据本发明实施例提供的一种人工神经元，所述人工神经元的输出信号表示为：
；
其中，表示所述人工神经元的输出信号，/>表示所述人工神经元中所述多个阈值筛选单元的数量，/>表示所述人工神经元中第/>个阈值筛选单元的输入信号，/>表示所述人工神经元中第/>个阈值筛选单元的阈值参数；当所述第/>个阈值筛选单元为所述正输出阈值筛选单元时，/>表示所述正输出阈值筛选单元的所述第一信号输出端的信号；当所述第/>个阈值筛选单元为所述负输出阈值筛选单元时，/>表示所述负输出阈值筛选单元的所述第二信号输出端的信号。
人工神经元的个输入信号分别输入到各个阈值筛选单元。人工神经元的输出信号为各个阈值筛选单元的输出信号之和。各个阈值筛选单元的输出信号表示为/>。当第/>个阈值筛选单元为正输出阈值筛选单元时，/>表示正输出阈值筛选单元的第一信号输出端的信号；当第/>个阈值筛选单元为负输出阈值筛选单元时，/>表示负输出阈值筛选单元的第二信号输出端的信号。
本发明实施例提供的人工神经元，通过给出人工神经元的输出信号的表达式，有利于实现人工神经元的输出信号的简便快速计算。
根据本发明实施例提供的一种人工神经元，当所述第个阈值筛选单元为所述正输出阈值筛选单元时，/>表示为：
；
其中，表示所述第一信号输出端的信号，/>表示所述人工神经元中第/>个阈值筛选单元的所述输入信号，/>表示所述人工神经元中第/>个阈值筛选单元的所述阈值参数。
是经过阈值筛选之后产生的输出值（或称为脉冲值）。该操作的效果是：当输入信号大于阈值参数时，输出该输入信号与阈值参数之间的差值，为一个正的脉冲值，否则输出0。
本发明实施例提供的人工神经元，通过给出正输出阈值筛选单元的输出信号的计算公式，实现了通过比较和减法运算得到正输出阈值筛选单元的输出信号。
根据本发明实施例提供的一种人工神经元，当所述第个阈值筛选单元为所述负输出阈值筛选单元时，/>表示为：
；
其中，表示所述第二信号输出端的信号，/>表示所述人工神经元中第/>个阈值筛选单元的所述输入信号，/>表示所述人工神经元中第/>个阈值筛选单元的所述阈值参数。
是经过阈值筛选之后产生的输出值（或称为脉冲值）。该操作的效果是：当输入信号大于阈值参数时，输出该输入信号与阈值参数之间的差值，为一个负的脉冲值，否则输出0。
本发明实施例提供的人工神经元，通过给出负输出阈值筛选单元的输出信号的计算公式，实现了通过比较和减法运算得到负输出阈值筛选单元的输出信号。
根据本发明实施例提供的一种人工神经元，所述人工神经元的输入信号随机对应于所述正输出阈值筛选单元或所述负输出阈值筛选单元。
人工神经元的输入信号对应于正输出阈值筛选单元时，输入信号表现为第一电流源的电流值。人工神经元的输入信号对应于负输出阈值筛选单元时，输入信号表现为第三电流源的电流值。人工神经元的输入信号随机对应与人工神经元中的正输出阈值筛选单元或负输出阈值筛选单元。
由于人工神经元的输入信号随机对应与人工神经元中的正输出阈值筛选单元或负输出阈值筛选单元，人工神经元由正输出阈值筛选单元的阈值筛选操作和负输出阈值筛选单元的阈值筛选操作随机组合实现。也即人工神经元的输出信号的计算中，随机地从/>和/>中选择。
本发明实施例提供的人工神经元，通过人工神经元的输入信号随机对应于正输出阈值筛选单元或负输出阈值筛选单元，提高了人工神经元实现的灵活性。
图5是本发明实施例提供的人工神经网络的结构示意图之一。如图5所示，该人工神经网络包括多个如前所述的人工神经元100；其中，所述人工神经网络包括的多个人工神经元100划分为多个分层，每个分层包括预设数量的所述人工神经元100；所述人工神经网络的输入信号随机输入到第一分层的所述人工神经元100的阈值筛选单元，前一分层的所述人工神经元100的输出信号随机输入到下一分层的所述人工神经元100的阈值筛选单元，最后一个分层的所述人工神经元100的输出信号作为所述人工神经网络的输出信号。
将本发明实施例提供的多个人工神经元的上述基本结构组合起来，就可以实现更为复杂的人工神经网络。本发明实施例提供的人工神经元（阈值神经元）可以以与传统神经网络一样多层叠加的方式组成人工神经网络（可称作阈值神经网络）。
图5中的圆圈表示本发明实施例提供的人工神经元100。可以看出，这样的阈值神经元和阈值神经网络中完全没有乘法操作，只用到了简单的加减法和对比操作。这样一方面为更高效的硬件实现提供了更大的可能，另一方面保持了神经元的非线性特性，可以用来近似任何一个定义在实数空间中的有界闭集函数。
阈值神经网络的训练与传统神经网络一致，可以利用反向传播技术直接训练。
本发明实施例提供的人工神经网络，通过基于对比和减法运算的人工神经元所构建，避免了乘法运算，降低了计算复杂度和计算成本，提高了人工神经网络的推理能效。
图6是本发明实施例提供的人工神经网络的结构示意图之二。图6给出了将3个输入信号转换为3个输出信号的阈值神经网络结构。每个人工神经元包括三个阈值筛选单元。
其中，最左边的人工神经元包括的阈值筛选单元从上到下依次为负输出阈值筛选单元、正输出阈值筛选单元、正输出阈值筛选单元。中间的人工神经元包括的阈值筛选单元从上到下依次为负输出阈值筛选单元、正输出阈值筛选单元、正输出阈值筛选单元。右边的人工神经元包括的阈值筛选单元从上到下依次为正输出阈值筛选单元、负输出阈值筛选单元、正输出阈值筛选单元。
各个人工神经元的输入信号x1=2mA，x2=8mA，x3=9mA，分别对应于各个人工神经元的正输出阈值筛选单元或负输出阈值筛选单元，实现基于阈值筛选单元的信号输入。阈值筛选单元的各个阈值参数w11、w12、w13、w21、w22、w23、w31、w32、w33通过训练确定。
y1、y2、y3作为各个人工神经元的输出可以进一步作为下一层的人工神经元的输入信号。
可以理解的，本发明实施例利用二极管的正向导通、反相截止的性质，在各个实现电路中可以将二极管替换为其他具有同样功能的电子器件，均在本发明的保护范围之内。另外，线路中也可以加入不改变电流方向的器件，如电阻，属于本发明的等同替换方式，均在本发明的保护范围之内。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种人工神经元电路，其特征在于，包括：
相互之间并联连接的多个阈值筛选单元；其中，所述多个阈值筛选单元包括第一数量的正输出阈值筛选单元及第二数量的负输出阈值筛选单元；
所述第一数量的正输出阈值筛选单元的第一接地端和所述第二数量的负输出阈值筛选单元的第二接地端相连接后接地；
所述第一数量的正输出阈值筛选单元的第一信号输出端和所述第二数量的负输出阈值筛选单元的第二信号输出端相连接后引出所述人工神经元电路的输出信号；
其中：
对于每个所述正输出阈值筛选单元，在对应的输入信号大于对应的阈值参数时，所述第一信号输出端输出正向脉冲信号，在对应的所述输入信号小于或等于所述阈值参数时输出信号为0；
对于每个所述负输出阈值筛选单元，在对应的输入信号大于对应的阈值参数时，所述第一信号输出端输出负向脉冲信号，在对应的所述输入信号小于或等于所述阈值参数时输出信号为0；
所述正输出阈值筛选单元包括第一电流源、第二电流源、第一二极管及第二二极管；所述第一电流源的电流值为所述正输出阈值筛选单元的所述输入信号，所述第二电流源的电流值为所述正输出阈值筛选单元的所述阈值参数；其中：所述第一电流源的负极和所述第二电流源的正极连接所述第一接地端，所述第一电流源的正极和所述第二电流源的负极连接所述第一二极管的阳极，所述第一二极管的阴极连接所述第一信号输出端，所述第二二极管的阴极连接所述第一二极管的阳极，所述第二二极管的阳极连接所述第一接地端；
所述负输出阈值筛选单元包括第三电流源、第四电流源、第三二极管及第四二极管；所述第三电流源的电流值为所述负输出阈值筛选单元的所述输入信号，所述第四电流源的电流值为所述负输出阈值筛选单元的所述阈值参数；其中：所述第三电流源的正极和所述第四电流源的负极连接所述第二接地端，所述第三电流源的负极和所述第四电流源的正极连接所述第三二极管的阴极，所述第三二极管的阳极连接所述第二信号输出端，所述第四二极管的阳极连接所述第三二极管的阴极，所述第四二极管的阴极连接所述第二接地端；
所述人工神经元电路的输出信号表示为：
；
其中，y表示所述人工神经元电路的输出信号，n表示所述人工神经元电路中所述多个阈值筛选单元的数量，x i 表示所述人工神经元电路中第i个阈值筛选单元的输入信号，w i 表示所述人工神经元电路中第i个阈值筛选单元的阈值参数；当所述第i个阈值筛选单元为所述正输出阈值筛选单元时，表示所述正输出阈值筛选单元的所述第一信号输出端的信号；当所述第i个阈值筛选单元为所述负输出阈值筛选单元时，/>表示所述负输出阈值筛选单元的所述第二信号输出端的信号。
2.根据权利要求1所述的人工神经元电路，其特征在于，当所述第i个阈值筛选单元为所述正输出阈值筛选单元时，表示为：
；
其中，表示所述第一信号输出端的信号，x i 表示所述人工神经元电路中第i个阈值筛选单元的所述输入信号，w i 表示所述人工神经元电路中第i个阈值筛选单元的所述阈值参数。
3.根据权利要求1所述的人工神经元电路，其特征在于，当所述第i个阈值筛选单元为所述负输出阈值筛选单元时，表示为：
；
其中，表示所述第二信号输出端的信号，x i 表示所述人工神经元电路中第i个阈值筛选单元的所述输入信号，w i 表示所述人工神经元电路中第i个阈值筛选单元的所述阈值参数。
4.根据权利要求1所述的人工神经元电路，其特征在于，所述人工神经元电路的输入信号随机对应于所述正输出阈值筛选单元或所述负输出阈值筛选单元。
5.一种人工神经网络电路，其特征在于，包括多个权利要求1至3任一所述的人工神经元电路；其中，所述人工神经网络电路包括的多个人工神经元电路划分为多个分层，每个分层包括预设数量的所述人工神经元电路；所述人工神经网络电路的输入信号随机输入到第一分层的所述人工神经元电路的阈值筛选单元，前一分层的所述人工神经元电路的输出信号随机输入到下一分层的所述人工神经元电路的阈值筛选单元，最后一个分层的所述人工神经元电路的输出信号作为所述人工神经网络电路的输出信号。
CN202310809515.5A 2023-07-04 2023-07-04 人工神经元及人工神经网络 Active CN116523013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310809515.5A CN116523013B (zh) 2023-07-04 2023-07-04 人工神经元及人工神经网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310809515.5A CN116523013B (zh) 2023-07-04 2023-07-04 人工神经元及人工神经网络

Publications (2)

Publication Number Publication Date
CN116523013A CN116523013A (zh) 2023-08-01
CN116523013B true CN116523013B (zh) 2023-10-20

Family

ID=87408550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310809515.5A Active CN116523013B (zh) 2023-07-04 2023-07-04 人工神经元及人工神经网络

Country Status (1)

Country Link
CN (1) CN116523013B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779059A (zh) * 2016-12-30 2017-05-31 华中科技大学 一种基于忆阻的巴普洛夫联想记忆的人工神经网络电路
CN107480779A (zh) * 2017-08-29 2017-12-15 胡明建 一种同时输出多态功能人工神经元的设计方法
CN111523658A (zh) * 2020-07-02 2020-08-11 南京优存科技有限公司 双位存储单元及其在存内计算的电路结构
CN112868063A (zh) * 2018-10-16 2021-05-28 硅存储技术股份有限公司 深度学习人工神经网络中的模拟神经存储器的编程的精确调谐
CN113469334A (zh) * 2021-06-29 2021-10-01 中国地质大学（武汉） 一种忆阻递归神经网络电路
CN113517014A (zh) * 2020-04-10 2021-10-19 三星电子株式会社 神经形态装置及其操作方法
CN116205167A (zh) * 2023-02-15 2023-06-02 北京大学深圳研究生院 一种基于人工神经网络系统的晶体管统计模型的建立方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210034954A1 (en) * 2019-08-04 2021-02-04 Chia-Chen Chan Magnetic effect artificial intelligence system
US20210192330A1 (en) * 2019-12-18 2021-06-24 The Trustees Of Princeton University Light-emitting diode neuron

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779059A (zh) * 2016-12-30 2017-05-31 华中科技大学 一种基于忆阻的巴普洛夫联想记忆的人工神经网络电路
CN107480779A (zh) * 2017-08-29 2017-12-15 胡明建 一种同时输出多态功能人工神经元的设计方法
CN112868063A (zh) * 2018-10-16 2021-05-28 硅存储技术股份有限公司 深度学习人工神经网络中的模拟神经存储器的编程的精确调谐
CN113517014A (zh) * 2020-04-10 2021-10-19 三星电子株式会社 神经形态装置及其操作方法
KR20210126335A (ko) * 2020-04-10 2021-10-20 삼성전자주식회사 뉴로모픽 장치 및 그 동작방법
CN111523658A (zh) * 2020-07-02 2020-08-11 南京优存科技有限公司 双位存储单元及其在存内计算的电路结构
CN113469334A (zh) * 2021-06-29 2021-10-01 中国地质大学（武汉） 一种忆阻递归神经网络电路
CN116205167A (zh) * 2023-02-15 2023-06-02 北京大学深圳研究生院 一种基于人工神经网络系统的晶体管统计模型的建立方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人工神经网络的研究及应用;吴新余;电子工程师(第03期);全文 *

Also Published As

Publication number Publication date
CN116523013A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN108154228B (zh) 一种人工神经网络计算装置和方法
CN106779059A (zh) 一种基于忆阻的巴普洛夫联想记忆的人工神经网络电路
CN108090658A (zh) 基于时域特征参数融合的电弧故障诊断方法
CN112529166A (zh) 融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备
US11562249B2 (en) DNN training with asymmetric RPU devices
US20210049448A1 (en) Neural network and its information processing method, information processing system
US11922169B2 (en) Refactoring mac operations
Wu et al. A multi-objective particle swarm optimization for neural networks pruning
Zhang et al. Efficient spiking neural networks with logarithmic temporal coding
CN109635938A (zh) 一种自主学习脉冲神经网络权值量化方法
CN115346096A (zh) 一种基于忆阻器所构建的脉冲神经网络模型
CN116523013B (zh) 人工神经元及人工神经网络
CN109697511B (zh) 数据推理方法、装置及计算机设备
CN110910723A (zh) 一种基于忆阻器的巴甫洛夫双模式切换的学习记忆电路
CN116629344A (zh) 基于Ca-LIF神经元模型的Spike-BP片上学习方法、系统及处理器
CN116663622A (zh) 一种生物可信的神经元计算电路及计算方法
CN116663623A (zh) 类脑突触学习方法及类脑技术的神经形态硬件系统
CN117136363A (zh) 深度神经网络训练
Bastos-Filho et al. Routing algorithm based on Swarm Intelligence and Hopfield Neural Network applied to communication networks
Yamamoto et al. Timing-based backpropagation in spiking neural networks without single-spike restrictions
Wan et al. Memristive crossbar circuit for neural network and its application in digit recognition
Yamane et al. Development and Evaluation of Neural Networks using Oxide Semiconductor Synapses for Letter Reproduction
Zhu et al. Back-Propagation Neural Network based on Analog Memristive Synapse
Wang et al. A modularization hardware implementation approach for artificial neural network
Fu et al. Nonpolar Neuron for ANN-SNN Conversion Toward Ternary Spiking Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant