CN105373829B

CN105373829B - 一种全连接神经网络结构

Info

Publication number: CN105373829B
Application number: CN201410442680.2A
Authority: CN
Inventors: 黄铁军
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2014-09-02
Filing date: 2014-09-02
Publication date: 2018-05-04
Anticipated expiration: 2034-09-02
Also published as: CN105373829A

Abstract

本发明实施例提供了一种能够执行深度学习算法的全连接神经网络结构，实现类似人脑的神经网络结构和功能。本发明实施例提供的全连接神经网络结构包括：至少两个全连接神经网络层，其中：每一层全连接神经网络层由输入导线层、输出导线层和位于其中的塑性器件构成，输入导线层和输出导线层分别包括至少一根导线，且输入、输出两层导线层的导线纵横交叉，塑性器件位于纵横交叉点处，分别与输入、输出导线层连接；输出导线层中每一根导线的末端连接一神经元模拟器；所述至少两个全连接神经网络层依次连接，将上一个全连接神经网络层的输出作为下一个全连接神经网络层的输入；由此形成的多层全连接神经网络可执行多种深度学习算法。

Description

一种全连接神经网络结构

技术领域

本发明涉及神经网络构造技术，特别涉及一种全连接神经网络结构。

技术背景

人类大脑的神经网络由近千亿个神经元组成，每个神经元通过树突或轴突相连接。当神经元收到刺激时，该神经元通过树突或轴突末端的突触将刺激信号传递给其他神经元，所有神经元刺激信号的抽象集合使得人脑产生逻辑思维等智能行为。而如何通过人工硬件模拟大脑神经网络结构一直是人工智能领域的一个研究难题。

近年来，深度学习作为一种行之有效的神经网络方法兴起，得到了广泛研究和应用。深度学习的神经网络结构是一种多层神经元结构，相邻两层神经元之间通过全连接的方式互联。深度学习方法的有效性与网络规模(包括神经元数量和连接数量)相关，具有实际应用价值的深度学习网络连接规模达到百亿(10G)以上，而人脑新皮层的连接(突触)数量达到150T(150万亿)。

现有技术中可基于CPU或CPU和GPU的结合来模拟人脑神经网络结构，目前很多深度学习算法实现就是采用这种方案。由于CPU只能够进行串行计算，因此单纯使用CPU来模拟人脑神经网络结构，其设备成本巨大且运算效率很低。2012年6月，Google公司的GoogleBrain项目用16000台电脑搭建模拟了一个人脑神经网络，连接数量达到10亿。2013年斯坦福大学在一项研究中，使用了16台服务器实现了100亿网络连接，每个服务器包含两个四核CPU、四个GPU和一个带宽适配器来模拟人脑神经网络结构，利用了GPU的并行运行功能，该模拟系统的运算效率相对于之前的CPU模拟有所提高，然而这样一个模拟系统的花费也在2万美元。如果用这种方案实现人脑新皮层规模的神经网络，成本至少需要3亿美元，这还不考虑互联很功耗成本。因此，采用CPU和GPU等传统计算体系不是解决深度学习方法应用的有效途径。

此外，无论是基于CPU还是基于CPU和GPU的结合，其人工神经网络系统的运转还是要依靠计算机程序来模拟人脑神经网络的深层学习过程。即若脱离了计算机程序的控制，现有技术中单纯依靠硬件系统无法模拟人脑神经网络的活动过程。

发明内容

有鉴于此，本发明实施例提供了一种全连接神经网络结构，实现低成本的人脑神经网络结构。

本发明实施例提供的一种全连接神经网络结构，包括：至少两个全连接神经网络层，其中：

每一层全连接神经网络层由输入导线层、输出导线层和位于其中的塑性器件层构成，输入导线层和输出导线层分别包括至少一根导线，且输入、输出两层导线层的导线纵横交叉，塑性器件位于纵横交叉点处，分别与输入、输出导线层连接；输出导线层中每一根导线的末端连接一神经元模拟器；

所述至少两个全连接神经网络层依次连接，将上一个全连接神经网络层的输出作为下一个全连接神经网络层的输入，以形成深度学习网络。

利用本发明实施例提供的全连接神经网络结构，通过塑性器件作为上、下层刺激的传递媒介(突触)，既可以模拟人脑神经反应曲线，又因为塑性器件耗能小，成本低，使得利用塑性器件构成的全连接深度学习神经网络成为现实，相比于现有技术构建的全连接神经网络结构，成本可以降低五个数量级。因此，也只有采用这种新的结构，人脑规模的模拟才能成为可能。

另外，本发明实施例提供的全连接神经网络结构，结构规整，便于利用成熟的集成电路生产工艺进行大规模生产制造，其连接数量能够达到甚至超越人类大脑的神经突触数量。

附图说明

图1是本发明一实施例提供的一种全连接神经网络层的结构示意图。

图2是本发明一实施例提供的一种全连接神经网络结构的结构示意图。

图3是本发明一实施例提供的一种全连接神经网络结构的结构示意图。

图4是本发明一实施例提供的一种全连接神经网络结构的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

图1是本发明一实施例提供的一种全连接神经网络层的结构示意图。如图1所示，该全连接神经网络层包括输入导线层1、输出导线层2和位于两层导线层1、2之间的塑性器件层3。导线层1和导线层2均由多根并行排列的导线构成，且导线层1和导线2纵横交叉。其中，上层导线层2通过塑性器件层3与下层导线层1实现全连接。

在输出导线层2的每一根导线的末端均设置有一个神经元模拟器4。这些神经元模拟器4除了具备存储功能外，还有计算(累积)、判断(是否超过阈值)和发放(向后续神经元发放刺激信号，发放后清除累积)功能。其将所在导线所连接的塑性器件的接收信息进行累加，并根据累加结果判断是否超过阈值，在超过阈值的情况下，输出脉冲信息。

在本发明一实施例中，神经元模拟器4可以由电容电阻等传统器件组成，也可以用忆阻器构成；可以根据成本、存储容量或者电路实现方式来选择任一一种。

在图1所示的神经网络结构中，输入导线层1模拟的是神经网络结构的输入，输出导线层2模拟的是神经网络结构的输出。其中，输出导线层2末端的神经元模拟器4类似与人脑神经元；导线层1和导线层2中的每一根导线用于传导刺激信号，因而可以类比为人脑神经网络的树突或轴突；塑性器件3用于将刺激信号传递给下一层导线层，可类比为人脑神经网络中的突触。

当对导线层1的每一根导线同时施加相应的脉冲信号时，导线层1的每根导线对应传递/不传递对应的脉冲信号，并通过塑性器件将脉冲信号传递给导线层2中的每根导线，导线层2末端的神经元模拟器将对应导线上每一个塑性器件的响应累加起来，如果累加值超过一预定阀值，则该神经元模拟器对应的神经元输出一脉冲，并认为该神经元被激活。

图1所示的全连接神经网络层模拟的是深度学习网络中的某一层神经激励过程。根据需要，将多个图1所述的全连接神经网络层输入输出首尾相连即可以形成一深度学习神经网络。

全连接神经网络层的数量由所要实现深层学习算法的复杂度而定，因而全连接神经网络层的具体数量并不能用于限制本发明的保护范围。

可以通过塑性器件两端的电压值，来调整塑性器件的连通强度。通过调整塑性器件的连通强度又可以执行不同的深度学习算法，以及也构造出具有特定功能的神经网络，例如用于映射、变换、特征提取、分类、识别等神经网络。

同时，作为深层学习网络每一层的全连接神经网络层中输出神经元的数目也是由大脑的功能所确定，大脑功能要求越强，所需要的输出神经元数量越多。在本发明某一实施例中，单层输出神经元的个数为10000个。

忆阻器(memristor)是一种具备阻值记忆功能的塑性器件，其阻值可以根据电压大小变化，而且既使断电后，其阻值仍可保留，这种特性跟人脑神经的突触较为类似。为此，本发明一实施例中，可以利用忆阻器作为塑性器件，通过调节忆阻器的电阻来控制塑性器件的连通强度，以执行不同的深度学习算法。图2是本发明一实施例提供的一种全连接神经网络结构的结构示意图。在图2所示的全连接神经网络结构中，每一个塑性器件与一开关5连接，通过控制每个塑性器件对应的开关5来控制塑性器件的工作与否。一旦某一开关5断开，其对应的塑性器件不工作，该塑性器件对应的下层刺激无法反馈上层。

在本发明一实施例中，众多开关5由独立的控制电路统一控制。在本发明一实施例中，可以通过三极管来实现开关5的功能。

这样，可以通过控制塑性器件对应的开关的开闭，来控制神经网络的响应规则。具体来说，可以根据所要模拟的不同的神经网络算法来制定对开关开闭的控制策略。

比如，对于Hilton深层学习算法来说，由于其算法的目的在于使得上层被刺激的神经元最少，因此当初始上层被刺激的神经元过多时，可以通过人工干预，减少上层神经元被触发的个数。为了模拟Hilton深层学习算法，可以通过如下策略来控制开关的开闭：

1、相邻开关不同时打开；

2、在某一范围内，打开的开关比例在一预先设定的比例范围内。

在本发明另一实施例中，也可以是利用开关控制部分塑性器件的开闭。

在本发明一实施例中，可以将构成一深层学习网络的多个全连接神经网络层可以位于物理上的同一层。图3和图4分别是本发明一实施例提供的一种全连接神经网络结构的结构示意图。如图3和图4所示，将物理上一层全连接神经网络结构划分为多个单元(图3中示出了A、B、C和D四个单元)，将每个单元的输出作为下一个单元的输入。

在本发明一实施例中，可以根据需要模拟的神经网络层数确定目标划分的单元数。比如，可以将物理上一层的全连接神经网络结构划分为四个单元，以逻辑上模拟四层神经网络，如图3所示。或将物理上一层的全连接神经网络结构划分为六个单元，以模拟六层神经网络，如图4所示。

在将物理上一层的全连接神经网络结构划分为多个单元，以模拟多层神经网络结构时，划分的规则有多种。

比如，可以按照平均原则划分，如图3所示的单元划分方式即为平均原则划分。其中，无论是作为最下层的A单元，还是作为上层的B、C、D单元占据的导线数目均为整个结构的1/4。

也可以按照指数倍比例划分，这里主要考虑到随着层数的增加，上层获得的刺激数目通常是急剧减少。如图4所示的单元划分方式即为指数倍比例划分方式。其中，作为最下层的A1单元占据的导线数目为整个结构的1/2，接着B1、C1、D1、E1、F1单元占据的导线数目分别为整个结构的1/4、1/8、1/16、1/32、1/64。

利用以上实施例的方法，既满足了神经网络结构的深度(多层)要求，又缩小了整个神经网络结构的截面尺寸，所对应的硬件器件的截面尺寸也被大大缩小。

在本发明另一实施例中，可以基于物理上多层的全连接神经网络结构，通过将其每层神经网络结构划分成多个单元，进而实现基于物理上有限的多层全连接神经网络结构架构出更多的逻辑层次。

举例说明，假设一物理上的多层全连接神经网络结构具有M层(L1，L2，......，Lm)，每一层又可以分别划分为N1，N2，......，Nm个单元，那么理论上M层的全连接神经网络结构可以架构逻辑上N1+N2+......+Nm层神经网络结构。

利用本发明实施例提供的全连接神经网络结构，通过塑性器件作为上、下层刺激的传递媒介，既可以模拟人脑神经反应曲线，又因为忆阻器耗能小，成本低。这种结构采用已经成熟的CMOS或存储器生产工艺即可实现高密度实现，一平米厘米的单芯片上的连接数可以达到T级，成熟情况下单片成本只需要100元人民币以内，利用这样的芯片搭建人类大脑规模的神经网络，成本约1.5万元。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种全连接神经网络结构，其特征在于，包括：至少两个全连接神经网络层，其中：

所述至少两个全连接神经网络层依次连接，将上一个全连接神经网络层的输出作为下一个全连接神经网络层的输入，以形成深度学习网络；

其中，所述至少两个全连接神经网络层物理上位于同一层，且物理上位于同一层的所述至少两个全连接神经网络层包含的单层导线层的导线数量按指数倍减少。

2.根据权利要求1所述的全连接神经网络结构，其特征在于，通过调整塑性器件的连通强度执行不同的深度学习算法。

3.根据权利要求1所述的全连接神经网络结构，其特征在于，通过配置塑性器件的连通性强度，构造出具有特定功能的神经网络。

4.根据权利要求3所述的全连接神经网络结构，其特征在于，所述特定功能的神经网络包括用于映射、变换、特征提取、分类或识别类神经网络。

5.根据权利要求1所述的全连接神经网络结构，其特征在于，至少一个塑性器件层的部分或全部分别与一开关连接，通过所述开关的开闭控制相应塑性器件工作与否。

6.根据权利要求5所述的全连接神经网络结构，其特征在于，所述开关由独立的控制电路统一控制。

7.根据权利要求5所述的全连接神经网络结构，其特征在于，根据所执行的神经网络算法，基于一预定的原则控制至少一个塑性器件层对应的开关。

8.根据权利要求7所述的全连接神经网络结构，其特征在于，所述预定的原则包括：

相邻塑性器件的开关不同时打开；或

在一定的范围内，打开的塑性器件开关的数目占所有塑性器件开关的数目在预定比例范围内。

9.根据权利要求1至8任一所述的全连接神经网络结构，其特征在于，所述塑性器件为忆阻器。

10.根据权利要求5至8中任一所述的全连接神经网络结构，其特征在于，所述开关为三极管。

11.根据权利要求1至8中任一所述的全连接神经网络结构，其特征在于，每层导线层的导线数目为10000。

12.根据权利要求1至8中任一所述的全连接神经网络结构，其特征在于，所述神经元模拟器为电容、电阻或忆阻器构成。