CN105160401B - 一种基于忆阻器阵列的wta神经网络及其应用 - Google Patents
一种基于忆阻器阵列的wta神经网络及其应用 Download PDFInfo
- Publication number
- CN105160401B CN105160401B CN201510536723.8A CN201510536723A CN105160401B CN 105160401 B CN105160401 B CN 105160401B CN 201510536723 A CN201510536723 A CN 201510536723A CN 105160401 B CN105160401 B CN 105160401B
- Authority
- CN
- China
- Prior art keywords
- memristor
- wta
- neural network
- neuron
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007935 neutral effect Effects 0.000 title abstract 7
- 239000003990 capacitor Substances 0.000 claims abstract description 9
- 208000017520 skin disease Diseases 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims description 52
- 210000002569 neuron Anatomy 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000004907 flux Effects 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000002955 isolation Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 4
- 238000004088 simulation Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 201000004624 Dermatitis Diseases 0.000 description 1
- 201000004681 Psoriasis Diseases 0.000 description 1
- 206010039793 Seborrhoeic dermatitis Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 201000011486 lichen planus Diseases 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 206010035114 pityriasis rosea Diseases 0.000 description 1
- 206010035116 pityriasis rubra pilaris Diseases 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 208000008742 seborrheic dermatitis Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Electrotherapy Devices (AREA)
- Design And Manufacture Of Integrated Circuits (AREA)
Abstract
本发明属于神经网络技术领域，涉及一种基于忆阻器阵列的WTA神经网络及其应用。通过忆阻器阵列设计实现该WTA神经网络及其应用即分类器模型，并由此提出可用于皮肤病特征的分类识别方法。其中，WTA模型由忆阻器，MOSFET，电容器，电阻器和电源构成，在此基础上，导出基于忆阻器阵列WTA神经网络的分类器。其目的是用忆阻器来实现WTA神经网络及其分类器，探索忆阻器在神经网络及其医学决策的应用。与传统WTA神经网络对比，本发明使用忆阻器阵列设计的分类器具有优良的性能，可以将其应用于医学疾病分类等领域。
Description
技术领域
本发明涉及忆阻器和WTA神经网络，提供了一种基于忆阻器阵列的WTA神经网络，并设计了一种基于该网络的应用。属于神经网络技术领域。
背景技术
人工神经网络是抽象人脑神经元网络处理信息的计算模型。主要研究的神经网络类型包括BP神经网络、细胞神经网络、递归神经网络、WTA神经网络等。其中，WTA神经网络在理论研究和工程应用上不断拓展，在模式识别、图像处理、自动控制等领域表现出很好的智能特性。
人工神经网络由大量的神经元相互联接构成。一般而言，常用MOSFET或CMOS物理实现神经元，由此构成的神经网络体积大，功耗大，不利于大规模使用。2008年，自从HP实验室设计出首个忆阻器之后，忆阻器的研究成为了目前一大热点。忆阻器的记忆纳米特性，“天然”地模拟神经元，由此设计的神经网络体积小、功耗低，可大规模推广应用在医学图像处理中，进行皮肤病分类识别。
因此，运用忆阻器来设计一种体积小，功耗低的WTA神经网络是十分必要的。
发明内容
针对上述存在问题或不足，本发明提供了一种基于忆阻器阵列的WTA神经网络及其应用。
该基于忆阻器阵列的WTA神经网络最少具有两个神经元，每个神经元均由忆阻器，MOS管，电容器，电阻器和直流电源构成的。对于一个具有N个神经元的网络，每个神经元由N-1个忆阻器、N-1个MOS管、N-1个直流电源、一个电阻以及一个电容组成，其中N≥2且每个忆阻器的一端接地，另外一端分别与其它N-1个神经元的输入相连，每个MOS管的源极连接到输入端，栅极分别连接到其它N-1个神经元的输入端，漏极分别与N-1个直流电源串联后接地，电阻与电容并联，一端连接到输入端，另外一端接地。该神经网络的输入是电流，输出是电压。
所述忆阻器是一种分段线性的忆阻器，其特性函数为
式1，
其忆导为 式2，
其中q为电荷量，c>0，d>0。根据MOS管的特性，得到其抑制函数
式3，
其中K、VT由MOS管的物理特性决定。抑制函数hi(vi,vj)代表第j个神经元对第i个神经元的抑制作用，vi、vj分别是第i个神经元与第个j神经元的输出。将抑制函数与忆阻器模型结合起来，就得到基于忆阻器阵列的WTA神经网络的动力学方程
(公式4)，
其中C为电容，G为电导，为第i个神经元所对应的忆阻器的磁通量，N为神经元个数。
基于上述基于忆阻器阵列的WTA神经网络的应用即分类器的实现。
该分类器由三大部分构成：第一部分为一个BP神经网络，由输入层、隐含层和输出层构成；第二部分为一个起隔离驱动作用的转换器；第三部分是上面所述的基于忆阻器阵列的WTA神经网络。
第一部分的BP神经网络的输入为特征，其输出经过第二部分的转换器的转换后，再作为第三部分的输入，第三部分的输出中，输出大于0的神经元所对应的种类，即分类的结果。
所述BP神经网络，使用的激励函数为训练算法为Levenberg-Marquardt BP算法，表达式为
x(k+1)＝x(k)-[JTJ+μI]-1JTe，
其中x为权值，J为雅可比矩阵，
e为误差，ep＝dp-xout,q，dp为期望输出，xout,q为第q个训练模式的实际网络输出，μ＝0.001。
本发明具有以下技术效果：该基于忆阻器阵列的WTA神经网络具有WTA特性，且体积小、功耗低，基于其所构建的分类器具有优良的性能，可以将其应用于医学疾病分类等领域。
附图说明
图1为忆阻器特性函数曲线(曲线)；
图2为实施例1基于忆阻器阵列的WTA神经网络(四个神经元)；
图3为实施例1基于忆阻器阵列的WTA神经网络(四个神经元)的WTA特性图(MATLAB仿真)；
图4为实施例2基于忆阻器阵列的WTA神经网络(八个神经元)的WTA特性图(MATLAB仿真)；
图5为实施例3基于忆阻器阵列的WTA神经网络(四个神经元)分类器；
图6为实施例3分类器对鳞屑性红斑皮肤病的部分分类仿真结果示意图。
具体实施方式
实施例1
用12个忆阻器，12个MOS管，4个电容器，4个电阻器，4个直流电源，按上面所述的连接方式进行连接，即构建了一个具有四个神经元的基于忆阻器阵列的WTA神经网络，如图2所示。分析该网络，可得到其动力学方程公式(4)，其中N＝4。通过对该动力学方程进行数学分析，可验证该神经网络具有WTA特性。
实施例2
用56个忆阻器，56个MOS管，8个电容器，8个电阻器，8个直流电源，按上面所述的连接方式进行连接，即构建了一个具有八个神经元的基于忆阻器阵列的WTA神经网络。分析该网络，可得到其动力学方程公式(4)，其中N＝8。通过对该动力学方程进行数学分析，可验证该神经网络具有WTA特性。
最后分别对实施例1、实施例2进行MATLAB仿真，仿真结果分别如图3、图4所示。从仿真结果可以看出，只有一个输出为正，其它输出都为负，表现出了WTA特性。
实施例3
基于忆阻器阵列的WTA神经网络分类器是将BP神经网络与基于忆阻器阵列的WTA神经网络结合起来，中间通过一个转换器相连。第一部分BP网络的输出通过第二部分转换器的隔离和驱动后，作为第三部分WTA神经网络的输入。结合上面所述的实施例1构建分类器，其结构如图5所示。
为了验证分类器的效果，我们将其应用于皮肤病分类识别。我们采用皮肤病数据库(Dermatology Database)里面的数据，对鳞屑性红斑(erythemato-scuamous)这一大类皮肤病进行子病种分类。我们使用了366组数据：72组为扁平苔癣(lichen planus)，49组为玫瑰糠疹(pityriasis rosea)，52组为慢性皮炎(chronic dermatitis)，112组为牛皮癣(psoriasis)，61组为脂溢性皮炎(seborrheic dermatitis)，20组为毛发红糠疹(pityriasis rubra pilaris)。我们将其中的300组数据作为训练集，剩下的66组数据作为测试集，并用MATLAB进行仿真，部分仿真结果如表一所示，从表一中可以看出该分类器具有很好的性能。
实施例1、实施例2的仿真结果表明，这种基于忆阻器阵列的神经网络具有很好的WTA特性，是一种WTA神经网络。由于该神经网络使用了忆阻器这种体积小、功耗低的元器件，大大减小了网络的体积和功耗，一定程度上克服了当前WTA神经网络体积过大、功耗过大的缺点，有利于这种基于忆阻器阵列的WTA神经网络实际物理电路的实现，以及大规模应用，也有助于以后相关应用的研究。
实施例3的仿真结果表明，本发明设计的分类器具有优良的性能，可以将其应用于医学疾病分类等领域。
Claims (5)
1.一种基于忆阻器阵列的WTA神经网络，最少具有两个神经元，其特征在于：每个神经元都是由忆阻器、MOS管、电容器、电阻器和直流电源构成的；对于具有N个神经元的网络，每个神经元由N-1个忆阻器、N-1个MOS管、N-1个直流电源、一个电阻以及一个电容组成，其中N≥2且每个忆阻器的一端接地，另外一端分别与其它N-1个神经元的输入相连，每个MOS管的源极连接到输入端，栅极分别连接到其它N-1个神经元的输入端，漏极分别与N-1直流电源串联后接地，电阻与电容并联，一端连接到输入端，另外一端接地；该神经网络的输入是电流，输出是电压。
2.如权利要求1所述基于忆阻器阵列的WTA神经网络，其特征在于：所述忆阻器是一种分段线性的忆阻器，其特性函数为
其忆导为
其中q为电荷量，c>0，d>0；
根据MOS管的特性，得到其抑制函数
其中K、VT由MOS管的物理特性决定；
抑制函数hi(vi,vj)代表第j个神经元对第i个神经元的抑制作用，vi、vj分别是第i个神经元与第个j神经元的输出；将抑制函数与忆阻器模型结合起来，就得到基于忆阻器阵列的WTA神经网络的动力学方程
其中C为电容，G为电导，为第i个神经元所对应的忆阻器的磁通量，N为神经元个数，为忆阻器的忆导，表达式为其中c>0，d>0，h(x,y)为抑制函数，表达式为
其中K、VT由MOS管的物理特性决定；C为电容；G为电导；为第i个神经元所对应的忆阻器的磁通量；N为神经元个数。
3.如权利要求1所述基于忆阻器阵列的WTA神经网络的应用，其特征在于：
该应用由三大部分构成：第一部分为一个BP神经网络，由输入层、隐含层和输出层构成；第二部分为一个起隔离驱动作用的转换器；第三部分为权利要求1所述基于忆阻器阵列的WTA神经网络；
第一部分的BP神经网络的输入为特征，其输出经过第二部分的转换器的转换后，再作为第三部分的输入；第三部分的输出中，输出大于0的神经元所对应的种类，即分类的结果。
4.如权利要求3所述基于忆阻器阵列的WTA神经网络的应用，其特征在于：
所述BP神经网络的激励函数为训练算法为Levenberg-Marquardt BP算法，表达式为x(k+1)＝x(k)-[JTJ+μI]-1JTe；
其中x为权值，J为雅可比矩阵，e为误差，ep＝dp-xout,q，dp为期望输出，xout,q为第q个训练模式的实际网络输出，μ＝0.001。
5.如权利要求3所述基于忆阻器阵列的WTA神经网络的应用，其特征在于：该应用适用于皮肤病分类识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510536723.8A CN105160401B (zh) | 2015-08-27 | 2015-08-27 | 一种基于忆阻器阵列的wta神经网络及其应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510536723.8A CN105160401B (zh) | 2015-08-27 | 2015-08-27 | 一种基于忆阻器阵列的wta神经网络及其应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105160401A CN105160401A (zh) | 2015-12-16 |
| CN105160401B true CN105160401B (zh) | 2017-08-11 |
Family
ID=54801252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510536723.8A Expired - Fee Related CN105160401B (zh) | 2015-08-27 | 2015-08-27 | 一种基于忆阻器阵列的wta神经网络及其应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105160401B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3414702A1 (en) * | 2016-02-08 | 2018-12-19 | Spero Devices, Inc. | Analog co-processor |
| CN107533668B (zh) * | 2016-03-11 | 2021-01-26 | 慧与发展有限责任合伙企业 | 用于计算神经网络的节点值的硬件加速器和方法 |
| US11741352B2 (en) | 2016-08-22 | 2023-08-29 | International Business Machines Corporation | Area and power efficient implementation of resistive processing units using complementary metal oxide semiconductor technology |
| CN108154226B (zh) * | 2016-12-06 | 2021-09-03 | 上海磁宇信息科技有限公司 | 一种使用模拟计算的神经网络芯片 |
| FR3064384B1 (fr) * | 2017-03-23 | 2019-05-03 | Stmicroelectronics Sa | Bloc refractaire pour dispositif integre de neurone artificiel |
| CN107133668A (zh) * | 2017-04-28 | 2017-09-05 | 北京大学 | 一种基于模糊玻尔兹曼机的忆阻神经网络训练方法 |
| US20180336470A1 (en) * | 2017-05-22 | 2018-11-22 | University Of Florida Research Foundation, Inc. | Deep learning in bipartite memristive networks |
| CN107358193A (zh) * | 2017-07-07 | 2017-11-17 | 南京天数信息科技有限公司 | 基于InceptionV3+全连接网络的皮肤真菌识别检测方法 |
| CN107909146B (zh) * | 2017-11-13 | 2021-09-17 | 中国科学院微电子研究所 | 基于易失性阈值转变器件的神经元电路 |
| FR3074337B1 (fr) * | 2017-11-30 | 2021-04-09 | Thales Sa | Reseau neuromimetique et procede de fabrication associe |
| CN108268938B (zh) | 2018-01-24 | 2020-04-21 | 清华大学 | 神经网络及其信息处理方法、信息处理系统 |
| CN109063826B (zh) * | 2018-03-19 | 2019-05-31 | 重庆大学 | 一种基于忆阻器的卷积神经网络实现方法 |
| CN109086870B (zh) * | 2018-07-27 | 2019-05-31 | 重庆因普乐科技有限公司 | 一种基于忆阻器的三维卷积神经网络实现方法 |
| CN109543718B (zh) * | 2018-10-27 | 2024-04-09 | 平安医疗健康管理股份有限公司 | 修改病种描述的方法和装置 |
| CN109558946B (zh) * | 2018-10-29 | 2022-07-12 | 南京邮电大学 | 一种基于忆阻器阵列的识别系统 |
| CN109711537B (zh) * | 2018-11-30 | 2020-09-11 | 郑州轻工业学院 | 一种基于忆阻神经网络的预测电路 |
| CN109800729B (zh) | 2019-01-28 | 2020-12-08 | 清华大学 | 信号处理装置及信号处理方法 |
| CN110348570B (zh) * | 2019-05-30 | 2021-01-05 | 中国地质大学（武汉） | 一种基于忆阻的神经网络联想记忆方法 |
| CN111695678B (zh) * | 2020-06-01 | 2022-05-03 | 电子科技大学 | 一种基于忆阻模块阵列的图像标题生成方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101308551A (zh) * | 2008-05-05 | 2008-11-19 | 西安理工大学 | Ls-svm分类与回归学习递归神经网络硬件电路及实现方法 |
| CN103810497A (zh) * | 2014-01-26 | 2014-05-21 | 华中科技大学 | 一种基于忆阻器的图像识别系统及方法 |
| CN104573238A (zh) * | 2015-01-09 | 2015-04-29 | 江西理工大学 | 一种忆阻细胞神经网络的电路设计方法 |
-
2015
- 2015-08-27 CN CN201510536723.8A patent/CN105160401B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101308551A (zh) * | 2008-05-05 | 2008-11-19 | 西安理工大学 | Ls-svm分类与回归学习递归神经网络硬件电路及实现方法 |
| CN103810497A (zh) * | 2014-01-26 | 2014-05-21 | 华中科技大学 | 一种基于忆阻器的图像识别系统及方法 |
| CN104573238A (zh) * | 2015-01-09 | 2015-04-29 | 江西理工大学 | 一种忆阻细胞神经网络的电路设计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105160401A (zh) | 2015-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105160401B (zh) | 一种基于忆阻器阵列的wta神经网络及其应用 | |
| Dong et al. | A general memristor-based pulse coupled neural network with variable linking coefficient for multi-focus image fusion | |
| US20200342301A1 (en) | Convolutional neural network on-chip learning system based on non-volatile memory | |
| He et al. | A discrete memristive neural network and its application for character recognition | |
| Hasan et al. | Enabling back propagation training of memristor crossbar neuromorphic processors | |
| CN113469334B (zh) | 一种忆阻递归神经网络电路 | |
| Sun et al. | Memristor-based neural network circuit of associative memory with overshadowing and emotion congruent effect | |
| Nawrocki et al. | A mini review of neuromorphic architectures and implementations | |
| Zamarreño-Ramos et al. | On spike-timing-dependent-plasticity, memristive devices, and building a self-learning visual cortex | |
| CN104573238B (zh) | 一种忆阻细胞神经网络的电路设计方法 | |
| CN103324979B (zh) | 一种可编程阈值电路 | |
| Ramakrishnan et al. | Vector-matrix multiply and winner-take-all as an analog classifier | |
| Chen et al. | Associate learning and correcting in a memristive neural network | |
| Dong et al. | Memristor-based hierarchical attention network for multimodal affective computing in mental health monitoring | |
| Cassidy et al. | FPGA based silicon spiking neural array | |
| Zhang et al. | The framework and memristive circuit design for multisensory mutual associative memory networks | |
| CN109816096A (zh) | 一种基于忆阻器的感知器神经网络电路及其调节方法 | |
| Sasongko et al. | Performance comparison of artificial neural network models for dengue fever disease detection | |
| Khanday et al. | Single SiGe transistor based energy-efficient leaky integrate-and-fire neuron for neuromorphic computing | |
| Wu et al. | New global exponential stability results for a memristive neural system with time-varying delays | |
| CN111382840A (zh) | 一种面向自然语言处理的基于循环学习单元的htm设计方法 | |
| Donahue et al. | Design and analysis of neuromemristive echo state networks with limited-precision synapses | |
| Han et al. | Memristor-based neural network circuit of associative memory with occasion setting | |
| Danneville et al. | Sub-0.3 V CMOS neuromorphic technology and its potential application | |
| Qi et al. | FPGA design of a multicore neuromorphic processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170811 Termination date: 20200827 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |