CN109558947A - 一种集中式随机跳变神经网络电路结构及其设计方法 - Google Patents

一种集中式随机跳变神经网络电路结构及其设计方法 Download PDF

Info

Publication number
CN109558947A
CN109558947A CN201811434988.7A CN201811434988A CN109558947A CN 109558947 A CN109558947 A CN 109558947A CN 201811434988 A CN201811434988 A CN 201811434988A CN 109558947 A CN109558947 A CN 109558947A
Authority
CN
China
Prior art keywords
random
neural network
module
circuit structure
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811434988.7A
Other languages
English (en)
Inventor
侯立刚
汪子锋
闫帅旗
彭晓宏
耿淑琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201811434988.7A priority Critical patent/CN109558947A/zh
Publication of CN109558947A publication Critical patent/CN109558947A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种集中式随机跳变神经网络电路结构及其设计方法，该电路结构包括神经网络模块、随机数发生模块，流程控制模块，根据流程控制模块的输出，决定是否开始随机跳变的过程，当开始随机跳变，此时同时控制随机数发生模块的运作，即对随机数发生模块的两个子模块进行控制，控制两个随机数发生器输出两组随机数；神经网络模块用于神经网络的实现，以及对训练集的处理；随机数发生模块包括两个独立的随机数发生器，用于产生两组随机数组，实现对神经网络的随机节点处的权重变化；流程控制模块用于控制整个电路结构工作模式的变化。本发明采用集中式处理，更为方便的改变神经网络的权重及结点地址，实现自动化处理。

Description

一种集中式随机跳变神经网络电路结构及其设计方法
技术领域
本发明涉及神经网络芯片的算法及设计方法，属于数字集成电路设计领域，更具体的，本发明涉及一种对神经网络算法应用更深入的方法。
背景技术
人工神经网络(Artificial Neural Network，即ANN)，是20世纪80年代以来人工智能领域兴起的研究热点，是由具有适应性的简单单元组成的广泛并行互连的网络，他的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
集成电路(Integrated Circuit)顾名思义，就是把一定数量的常用电子元件，如电阻、电容、晶体管等，以及这些元件之间的连线，通过半导体工艺集成在一起的具有特定功能的电路。
现如今的神经网络都是处于稳定状况下执行所被赋予的任务，但真实的大脑并不都是处于稳定状态下产生结果，往往外界带来的不稳定状态会导致新的灵感的产生。为了模拟这种不稳定状况及其结果，本发明提出来一种方案，通过基于数字集成电路设计将正常状况下的结果与不稳定状况下的结果进行对比，我们将得到两种状况的不同，并为将来的研究铺平了道路。
发明内容
本发明的目的在于提出了一种集中式随机跳变神经网络电路及其设计方法，该发明其核心思想在于系统电路驱动两个伪随机数发生器来改变系统神经网络某一个或几个结点的权重达到集中随机处理神经网络的目的。
本发明的技术方案在于采用了一种集中式随机跳变神经网络电路结构，该电路结构包括神经网络模块、随机数发生模块，流程控制模块，根据流程控制模块的输出，决定是否开始随机跳变的过程，当开始随机跳变，此时同时控制随机数发生模块的运作，即对随机数发生模块的两个子模块进行控制，控制两个随机数发生器输出两组随机数；随机数发生器1输出的一组随机数用来改变神经网络的权重，随机数发生器2输出的另一组随机数用于改变控制神经网络结点的地址。神经网络模块用于神经网络的实现，以及对训练集的处理；随机数发生模块包括两个独立的随机数发生器，用于产生两组随机数组，实现对神经网络的随机节点处的权重变化；流程控制模块用于控制整个电路结构工作模式的变化。
一种集中式随机跳变神经网络电路结构的设计方法，该方法包括如下具体步骤：
S1.首先为神经网络正常运行。神经网络模块启动，通过训练集对神经网络芯片进行训练，得到训练好的网络样本；
S2.其次为集中式随机跳变行为运行。流程控制模块运行，通过控制两个伪随机数发生器的运作，改变已经训练好的神经网络的权值及结点地址，并由该神经网络对训练集进行处理。
本发明采用集中式处理，更为方便的改变神经网络的权重及结点地址，实现自动化处理。
附图说明
图1为模块交互连接图；
图2为流程控制图；
具体实施方式
以下将结合附图对本发明作进一步说明。
如图1为集中式随机跳变神经网络的模块图。通过流程控制模块控制总的进程，与神经网络模块、随机数发生器控制模块相连并对以上部分进行控制；随机数发生器模块与神经网络模块相连并对该部分进行控制。
如图2为随机数发生器模块与神经网络模块的连接方式图。其中，随机数发生器模块内的两个独立的随机数发生器分别与神经网络模块的网络权重部分及网络节点地址部分直接相连。图2中的x1，x2为神经网络的输入；wij(i表示输入，j表示隐层函数)为权重，b1,b2,b3,b4为隐层函数，用于对输入信号加工；y1,y2为神经网络的输出。

Claims (8)

1.一种集中式随机跳变神经网络电路结构，其特征在于：该电路结构包括神经网络模块、随机数发生模块和流程控制模块，根据流程控制模块的输出，决定是否开始随机跳变的过程，当开始随机跳变，此时同时控制随机数发生模块的运作，即对随机数发生模块的两个子模块进行控制，控制两个随机数发生器输出两组随机数。
2.根据权利要求1所述的一种集中式随机跳变神经网络电路结构，其特征在于：随机数发生器1输出的一组随机数用来改变神经网络的权重，随机数发生器2输出的另一组随机数用于改变控制神经网络结点的地址。
3.根据权利要求1所述的一种集中式随机跳变神经网络电路结构，其特征在于：神经网络模块用于神经网络的实现，以及对训练集的处理。
4.根据权利要求1所述的一种集中式随机跳变神经网络电路结构，其特征在于：随机数发生模块包括两个独立的随机数发生器，用于产生两组随机数组，实现对神经网络的随机节点处的权重变化。
5.根据权利要求1所述的一种集中式随机跳变神经网络电路结构，其特征在于：流程控制模块用于控制整个电路结构工作模式的变化。
6.根据权利要求1所述的一种集中式随机跳变神经网络电路结构，其特征在于通过流程控制模块控制总的进程，与神经网络模块、随机数发生器控制模块相连并对以上部分进行控制；随机数发生器模块与神经网络模块相连并对该部分进行控制。
7.根据权利要求1所述的一种集中式随机跳变神经网络电路结构，其特征在于随机数发生器模块内的两个独立的随机数发生器分别与神经网络模块的网络权重部分及网络节点地址部分直接相连；x1，x2为神经网络的输入；wij为权重，b1,b2,b3,b4为隐层函数，用于对输入信号加工；y1,y2为神经网络的输出，i表示输入，j表示隐层函数。
8.一种集中式随机跳变神经网络电路结构的设计方法，该方法包括如下具体步骤：
S1.首先为神经网络正常运行；神经网络模块启动，通过训练集对神经网络芯片进行训练，得到训练好的网络样本；
S2.其次为集中式随机跳变行为运行；流程控制模块运行，通过控制两个伪随机数发生器的运作，改变已经训练好的神经网络的权值及结点地址，并由该神经网络对训练集进行处理。
CN201811434988.7A 2018-11-28 2018-11-28 一种集中式随机跳变神经网络电路结构及其设计方法 Withdrawn CN109558947A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811434988.7A CN109558947A (zh) 2018-11-28 2018-11-28 一种集中式随机跳变神经网络电路结构及其设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811434988.7A CN109558947A (zh) 2018-11-28 2018-11-28 一种集中式随机跳变神经网络电路结构及其设计方法

Publications (1)

Publication Number Publication Date
CN109558947A true CN109558947A (zh) 2019-04-02

Family

ID=65867857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811434988.7A Withdrawn CN109558947A (zh) 2018-11-28 2018-11-28 一种集中式随机跳变神经网络电路结构及其设计方法

Country Status (1)

Country Link
CN (1) CN109558947A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030191728A1 (en) * 2002-03-27 2003-10-09 Kulkarni Bhaskar Dattatray Performance of artificial neural network models in the presence of instrumental noise and measurement errors
CN106127301A (zh) * 2016-01-16 2016-11-16 上海大学 一种随机神经网络硬件实现装置
CA2957695A1 (en) * 2016-07-15 2018-01-15 Alexander Sheung Lai Wong System and method for building artificial neural network architectures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030191728A1 (en) * 2002-03-27 2003-10-09 Kulkarni Bhaskar Dattatray Performance of artificial neural network models in the presence of instrumental noise and measurement errors
CN106127301A (zh) * 2016-01-16 2016-11-16 上海大学 一种随机神经网络硬件实现装置
CA2957695A1 (en) * 2016-07-15 2018-01-15 Alexander Sheung Lai Wong System and method for building artificial neural network architectures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈云芝 等: ""基于脉冲时间依赖可塑性的自适应神经网络抗扰能力研究"", 《生物医学工程学杂志 》 *

Similar Documents

Publication Publication Date Title
Hunsberger et al. Spiking deep networks with LIF neurons
CN107273972B (zh) 一种基于阻变器件和适应-激发神经元的神经形态系统及实现方法
CN111612125B (zh) 一种面向在线学习的新型htm时间池方法及其系统
KR20160076533A (ko) 지도 학습을 이용하여 클래스들을 태깅하기 위한 방법들 및 장치
WO2015142503A2 (en) Implementing a neural-network processor
Luo et al. Real-time simulation of passage-of-time encoding in cerebellum using a scalable FPGA-based system
Mehrtash et al. Synaptic plasticity in spiking neural networks (SP/sup 2/INN): a system approach
CN103914711B (zh) 一种改进的极速学习装置及其模式分类方法
CN105913119A (zh) 行列互联的异构多核心类脑芯片及其使用方法
US10552734B2 (en) Dynamic spatial target selection
WO2015130476A2 (en) Method and apparatus for efficient implementation of common neuron models
JP2016538633A (ja) 多次元範囲にわたって分離可能なサブシステムを含むシステムの評価
CN111291881B (zh) 一种基于级联VCSELs光子神经的模式识别装置及方法
Tao et al. Modeling and analysis of spike signal sequence for memristor crossbar array in neuromorphic chips
CN109558947A (zh) 一种集中式随机跳变神经网络电路结构及其设计方法
CN103927583B (zh) 人工神经网络
CN109615069B (zh) 一种具有异步传输特性的神经网络的电路结构
CN109635942A (zh) 一种仿脑兴奋态和抑制态工作状态神经网络电路结构及方法
US20140365413A1 (en) Efficient implementation of neural population diversity in neural system
Wang et al. An analogue VLSI implementation of polychromous spiking neural networks
Tomas et al. Design of a modular and mixed neuromimetic ASIC
CN109359722A (zh) 一种仿脑非常态工作状态的神经网络及电路设计方法
KR102545066B1 (ko) 뉴로모픽 컴퓨팅을 위한 신경망 생성 방법 및 이를 위한 장치
US11630992B2 (en) Neural network generation method for neuromorphic computing and apparatus for the same
CN108629093A (zh) 一种噪声感知的动态电压频率调节过渡序列设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190402