CN110390391A - 一种基于三维卷积神经网络的映射装置及方法 - Google Patents

Abstract

一种基于三维卷积神经网络的映射装置及映射方法，用于对三维卷积神经网络的卷积核进行映射，映射装置由P层阻变存储器阵列组成，其中：每一阻变存储器阵列由M×N个阻变存储器组成，阻变存储器阵列的层数P等于卷积核的第三维尺寸，每一阻变存储器阵列的行数M等于卷积核的第一维尺寸、第二维尺寸和输入三维卷积神经网络的输入特征图的数量的乘积，每一阻变存储器阵列的列数N等于三维卷积神经网络中卷积核的个数，每一阻变存储器中存储有相应的计算参数。通过将三维卷积神经网络中的每一计算参数映射至相应的阻变存储器中，有效实现了三维卷积神经网络的硬件映射，具有低硬件开销和低功耗的优点。

Description

一种基于三维卷积神经网络的映射装置及方法

技术领域

本公开涉及深度学习领域，具体地，涉及一种基于三维卷积神经网络的映射装置及方法。

背景技术

由于阻变存储器能够在外加电压改变时使相关器件的阻值发生变化，比如在低阻和高阻之间转换，并且其具有速度快、存储密度高、易于集成、功耗低等优点，近年来受到了广泛关注。三维卷积神经网络时目前在诸如无人驾驶的三维感知与物体检测、医学图像分割、基于视频的行为识别等图像处理领域被广泛应用的一种神经网络。因此，若能利用阻变存储器阵列来构成神经网络电路，可以实现低硬件开销和低功耗，从而为图像处理等领域今后的研究和应用奠定更好的基础。

现有基于阻变存储器阵列的神经网络硬件实现方案中，主要利用阻变存储器二维交叉阵列来实现二维卷积神经网络的向量与矩阵的乘法运算，其它方式的硬件实现方案不太成熟。目前利用阻变存储器二维交叉阵列实现的卷积神经网络电路中的卷积操作主要采用全串行和全并行两种方案，在全串行方案中，由于输入图片需要进行的处理量一般都比卷积核的单次处理能力大很多，所以需要的处理时间很长，而在全并行方案中，阻变存储器二维交叉阵列的开销极大，且平面站位面积极大，因而很难实际应用。另外，目前也未出现用于三维卷积神经网络的高效硬件实现方案。

发明内容

(一)要解决的技术问题

本公开提供了一种基于三维卷积神经网络的映射装置及方法，至少解决以上技术问题。

(二)技术方案

本公开提供了一种基于三维卷积神经网络的映射装置，用于对所述三维卷积神经网络的卷积核进行映射，所述映射装置由P层阻变存储器阵列组成，其中：每一所述阻变存储器阵列由M×N个阻变存储器组成，所述阻变存储器阵列的层数P等于所述卷积核的第三维尺寸，每一所述阻变存储器阵列的行数M等于所述卷积核的第一维尺寸、第二维尺寸和输入所述三维卷积神经网络的输入特征图的数量的乘积，每一所述阻变存储器阵列的列数N等于所述三维卷积神经网络中卷积核的个数，每一所述阻变存储器中存储有相应的计算参数。

可选地，第i层、第j列、第k行的阻变存储器(i，j，k)中存储的所述计算参数为：所述三维卷积神经网络中第j个卷积核、第三维的第i个步长、第一维第二维中的第k个计算参数，1≤i≤P，1≤j≤N，1≤k≤M。

可选地，每一所述输入特征图对应的所述第一维第二维中的计算参数按照所述输入特征图的顺序以及计算顺序依次排序，所述第k个计算参数在所述排序中位于第k位。

可选地，所述映射装置还包括：M×N个晶体管，所述晶体管与每一层所述阻变存储器阵列中的M×N个阻变存储器一一对应，每一所述晶体管的漏极连接至其对应的阻变存储器的一端。

可选地，所述映射装置还包括：P×M个输入端，分别连接至每一层所述阻变存储器阵列中的每一行阻变存储器的另一端，以分别将所述输入特征图中的数据输入至其连接的阻变存储器中。

可选地，所述映射装置还包括：N个卷积核选择端，分别连接至所述M×N个晶体管中的每一列晶体管的栅极，相同列的晶体管连接至同一所述卷积核选择端，以通过其连接的晶体管控制所述阻变存储器进行卷积计算。

可选地，所述映射装置还包括：N个输出端，分别连接至所述M×N个晶体管中的每一列晶体管的源极，相同列的晶体管连接至同一所述输出端，以通过其连接的晶体管输出所述阻变存储器的计算结果。

可选地，每一所述阻变存储器阵列中，同一列的M个阻变存储器用于根据其存储的所述计算参数对输入的M个数据进行乘加计算。

本公开还提供了一种基于三维卷积神经网络的映射方法，用于对所述三维卷积神经网络的卷积核进行映射，方法包括：

对所述卷积核中三维卷积核的任一个前两维的M个计算参数进行排序，并将排序后的计算参数依次存储至相应的M个阻变存储器中；重复执行上述操作P次，以将所述卷积核中三维卷积核的每一个前两维的计算参数存储至相应的阻变存储器中；重复执行上述操作N次，以将所述三维卷积神经网络中每一卷积核中的计算参数存储至相应的阻变存储器中；其中，M为所述卷积核的第一维尺寸、第二维尺寸和输入所述三维卷积神经网络的输入特征图的数量的乘积，N为所述三维卷积神经网络中卷积核的个数，P为所述卷积核中第三维尺寸。

可选地，所述方法还包括：将每一所述阻变存储器的一端连接至输入特征图，将同一所述卷积核对应的阻变存储器的另一端连接至同一输出端，以使得根据同一所述卷积核对应的阻变存储器中的计算参数对所述输入特征图进行乘加计算。

(三)有益效果

本公开提供的基于三维卷积神经网络的映射装置及方法，完成了三维卷积神经网络的硬件实现，并且具有低硬件开销、低功耗、速度快的优点。

附图说明

图1示意性示出了本公开实施例提供的基于三维卷积神经网络的映射装置的结构框图。

图2示意性示出了本公开实施例提供的一种卷积内核到阻变存储器阵列的映射过程。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

本公开第一实施例示出了一种基于三维卷积神经网络的映射装置的结构，参阅图1，结合图2，对图1所示结构进行详细说明。

映射装置由P层阻变存储器阵列组成，每一组边存储器阵列由M×N个阻变存储器组成，其中，阻变存储器阵列的层数P等于卷积核的第三维尺寸，每一阻变存储器阵列的行数M等于卷积核的第一维尺寸、第二维尺寸和输入该三维卷积神经网络的输入特征图的数量的乘积，每一阻变存储器阵列的列数N等于三维卷积神经网络中卷积核的个数，每一阻变存储器中存储有相应的计算参数，用于对输入特征图进行卷积计算。

第i层、第j列、第k行的阻变存储器(i，j，k)中存储的计算参数为：三维卷积神经网络中第j个卷积核、第三维的第i个步长、第一维第二维中的第k个计算参数，1≤i≤P，1≤j≤N，1≤k≤M。本公开实施例中，每一所述输入特征图对应的第一维第二维中的计算参数按照输入特征图的顺序以及计算顺序依次排序，第k个计算参数在排序中位于第k位。

本公开实施例中，基于三维卷积神经网络的映射装置还包括：M×N个晶体管、P×M个输入端、N个卷积核选择端和N个输出端。该M×N个晶体管与每一层阻变存储器阵列中的M×N个阻变存储器一一对应，每一晶体管的漏极连接至其对应的P个阻变存储器的一端。该P×M个输入端分别连接至每一层阻变存储器阵列中P×M行阻变存储器的另一端，以分别将输入特征图中的数据输入至其连接的阻变存储器中，如图1中SL_[0，0]、SL_[1，0]、SL_[2，0]、……、SL_[P-1，0]以及SL_[l，1]、SL_[l，2]、……、SL_[l，M-1]，l＝0至P-1。该N个卷积核选择端分别连接至M×N个晶体管中N列晶体管的栅极，相同列的晶体管连接至同一卷积核选择端，以通过其连接的晶体管控制阻变存储器进行卷积计算，如图1中BL_0、BL_1、BL_2、……BL_N-1。该N个输出端分别连接至M×N个晶体管中的N列晶体管的源极，相同列的晶体管连接至同一输出端，以通过其连接的晶体管输出阻变存储器的计算结果，如图1中WL_0、WL_1、WL_2、……WL_N-1。每一阻变存储器阵列中，同一列的M个阻变存储器用于根据其存储的计算参数对输入的M个数据进行乘加计算。

参阅图2，以图2中所示三维卷积神经网络为例，说明本实施例中映射装置的具体结构。

图2所示实施例中，层X、卷积核和层X+1的数据的大小分别为28*28*28*64、3*3*3*128和26*26*26*128，层X+1中的每个通道对应的卷积核的大小为3*3*3*64，卷积核的步长为1，每个卷积核与输入图像的所有输入特征图进行卷积并相加后输出128个输出特征图。在一个计算周期内，到达卷积核的输入矢量的大小为576*3，即图2中的SL_[0，0]、SL_[1，0]、SL_[2，0]、……、SL_[575，0]和SL_[0，1]、SL_[0，2]、SL_[1，1]、SL_[1，2]、……、SL_[575，1]、SL_[575，2]，每一个卷积核(即图2中的BL_0、BL_1、BL_2、……BL_127)都需要对该输入矢量进行卷积计算，在下一个计算周期中，卷积核窗口向右或向下移动一个步长，从输入特征图中得到另一个576*3的输入矢量，当每一横截面的卷积核窗口移动完毕，卷积核窗口将向后移动一个补偿，重复以上操作，直至卷积核窗口遍历整个层X，即输入特征图中的数据以顺序模式依次进入卷积核中进行卷积计算。假设每次右移、下移及后移的步长为1，图2所示示例中每个横截面需要进行676(即26*26)次卷积操作，共需进行26个横截面的卷积操作，获得层X+1所有的输出特征图需要676*26个计算周期。将上述3*3*3*128的卷积核映射到同一阻变存储器阵列是难以实现的，鉴于此，可以将每一个卷积核的权重映射到一个卷积核单元格中，如图2中所示条形阵列。根据上述计算过程及映射思想，构建图2所示实施例的映射装置，将图2所示条形阵列的计算参数映射至对应的阻变存储器中即可。

图2所示实施例中的三维卷积神经网络中，卷积核的第一维尺寸、第二维尺寸、第三维尺寸均为3，输入其中的输入特征图的数量为64，卷积核的个数为128，因此，基于该三维卷积神经网络的映射装置中阻变存储器阵列的层数P＝3，每一阻变存储器阵列的行数M＝576，每一阻变存储器阵列的列数N＝128。第j列的3层×576行阻变存储器中存储有第j个卷积核的计算参数；第j列、第i层的576个阻变存储器中存储有第j个卷积核第三维中第i个步长对应的前两维的计算参数；第j列、第i层第k行的阻变存储器(i，j，k)中存储有第j个卷积核第三维中第i个步长对应的前两维中第k个(即输入矢量中第k个数据)计算参数，j＝1、2、3、……、128，i＝1、2、3，k＝1、2、3、……、576。

可以理解的是，本公开实施例中基于三维卷积神经网络的映射装置也适用于其它三维卷积神经网络。

本公开第二实施例示出了一种基于三维卷积神经网络的映射方法，用于对三维卷积神经网络的卷积核进行映射，方法包括以下操作：

S201，对卷积核中三维卷积核的任一个前两维的M个计算参数进行排序，并将排序后的计算参数依次存储至相应的M个阻变存储器中。

仍以图2中所示3*3*3*128的卷积核为例，对该映射方法进行详细具体地说明。图2所示实施例中卷积核步长为1，输入其中的输入特征图的数量为64，对于某一卷积核，其前两维中的计算参数的个数为3*3*64个，即M＝576，将这576个计算参数分别存储至576个阻变存储器中。

S202，重复执行P次操作S201，以将卷积核中三维卷积核的每一个前两维的计算参数存储至相应的阻变存储器中。

图2所示实施例中第三维尺寸为3，因此需重复执行3次操作S201，以将卷积核中三维卷积核的每一个前两维的计算参数分别存储至相应的阻变存储器中，即将某一卷积核中的计算参数分别存储至576*3个阻变存储器中。

S203，重复执行N次操作S201-S202，以将三维卷积神经网络中每一卷积核中的计算参数存储至相应的阻变存储器中。

图2所示实施例中卷积核的个数为128，因此需重复执行128次操作S201-S202，以将每一卷积核中的计算参数分别存储至576*3*128个阻变存储器中。

操作S201-S203中，M为卷积核的第一维尺寸、第二维尺寸和输入三维卷积神经网络的输入特征图的数量的乘积，N为三维卷积神经网络中卷积核的个数，P为卷积核中第三维尺寸。

此外，还需将每一阻变存储器的一端连接至输入特征图，将同一卷积核对应的阻变存储器的另一端连接至同一输出端，以使得能够根据同一卷积核对应的阻变存储器中的计算参数对输入特征图进行乘加计算。

可以理解的是，本公开实施例中仅以3*3*3*128的卷积核说明映射的具体过程，该映射方法也适用于其它三维卷积神经网络。

需要说明的是，在附图或说明书正文中，未描述的三维卷积神经网络，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于三维卷积神经网络的映射装置，用于对所述三维卷积神经网络的卷积核进行映射，所述映射装置由P层阻变存储器阵列组成，其中：

每一所述阻变存储器阵列由M×N个阻变存储器组成，所述阻变存储器阵列的层数P等于所述卷积核的第三维尺寸，每一所述阻变存储器阵列的行数M等于所述卷积核的第一维尺寸、第二维尺寸和输入所述三维卷积神经网络的输入特征图的数量的乘积，每一所述阻变存储器阵列的列数N等于所述三维卷积神经网络中卷积核的个数，每一所述阻变存储器中存储有相应的计算参数。

2.根据权利要求1所述的基于三维卷积神经网络的映射装置，其中，第i层、第j列、第k行的阻变存储器(i，j，k)中存储的所述计算参数为：

所述三维卷积神经网络中第j个卷积核、第三维的第i个步长、第一维第二维中的第k个计算参数，1≤i≤P，1≤j≤N，1≤k≤M。

3.根据权利要求2所述的基于三维卷积神经网络的映射装置，其中，每一所述输入特征图对应的所述第一维第二维中的计算参数按照所述输入特征图的顺序以及计算顺序依次排序，所述第k个计算参数在所述排序中位于第k位。

4.根据权利要求1所述的基于三维卷积神经网络的映射装置，其中，所述映射装置还包括：

M×N个晶体管，所述晶体管与每一层所述阻变存储器阵列中的M×N个阻变存储器一一对应，每一所述晶体管的漏极连接至其对应的阻变存储器的一端。

5.根据权利要求4所述的基于三维卷积神经网络的映射装置，其中，所述映射装置还包括：

P×M个输入端，分别连接至每一层所述阻变存储器阵列中的每一行阻变存储器的另一端，以分别将所述输入特征图中的数据输入至其连接的阻变存储器中。

6.根据权利要求4所述的基于三维卷积神经网络的映射装置，其中，所述映射装置还包括：

N个卷积核选择端，分别连接至所述M×N个晶体管中的每一列晶体管的栅极，相同列的晶体管连接至同一所述卷积核选择端，以通过其连接的晶体管控制所述阻变存储器进行卷积计算。

7.根据权利要求4所述的基于三维卷积神经网络的映射装置，其中，所述映射装置还包括：

N个输出端，分别连接至所述M×N个晶体管中的每一列晶体管的源极，相同列的晶体管连接至同一所述输出端，以通过其连接的晶体管输出所述阻变存储器的计算结果。

8.根据权利要求1所述的基于三维卷积神经网络的映射装置，其中，每一所述阻变存储器阵列中，同一列的M个阻变存储器用于根据其存储的所述计算参数对输入的M个数据进行乘加计算。

9.一种基于三维卷积神经网络的映射方法，用于对所述三维卷积神经网络的卷积核进行映射，方法包括：

对所述卷积核中三维卷积核的任一个前两维的M个计算参数进行排序，并将排序后的计算参数依次存储至相应的M个阻变存储器中；

重复执行上述操作P次，以将所述卷积核中三维卷积核的每一个前两维的计算参数存储至相应的阻变存储器中；

重复执行上述操作N次，以将所述三维卷积神经网络中每一卷积核中的计算参数存储至相应的阻变存储器中；

其中，M为所述卷积核的第一维尺寸、第二维尺寸和输入所述三维卷积神经网络的输入特征图的数量的乘积，N为所述三维卷积神经网络中卷积核的个数，P为所述卷积核中第三维尺寸。

10.根据权利要求9所述的基于三维卷积神经网络的映射方法，其中，所述方法还包括：

将每一所述阻变存储器的一端连接至输入特征图，将同一所述卷积核对应的阻变存储器的另一端连接至同一输出端，以使得根据同一所述卷积核对应的阻变存储器中的计算参数对所述输入特征图进行乘加计算。