CN109902821B - 一种数据处理方法、装置及相关组件 - Google Patents

Abstract

本申请公开了一种数据处理方法，所述数据处理方法包括当接收到数据读取指令时，根据数据读取指令确定配置参数；根据配置参数确定三维缓存阵列中的目标数据；其中，三维缓存阵列由多个存储单元按照寄存器转换级电路构建规则搭建得到；将目标数据输出至计算阵列以便执行数据计算操作。本申请能够提高卷积计算的效率，优化卷积神经网络的数据处理流程。本申请还公开了一种数据处理装置、一种计算机可读存储介质及一种电子设备，具有以上有益效果。

Description

一种数据处理方法、装置及相关组件

技术领域

本发明涉及深度学习技术领域，特别涉及一种数据处理方法、装置、一种计算机可读存储介质及一种电子设备。

背景技术

卷积神经网络(Convolutional Neural Networks,CNN)是深度学习方面的主要研究对象。CNN的基本组成是固定的，分别为输入层、卷积层、激活层、池化层和全连接层，其中计算量最大的部分是卷积层，其主要的功能就是完成图像(feature)与神经元(filter)之间的卷积运算。对于不同的CNN神经网络结构而言，处理的数据长度是不一样的。对于同一个CNN神经网络，每层所处理的数据长度也是在变化的。

CNN网络结构的输入输出的数据量非常大，例如ResNet50的一层可以达到512个输入通道，512个输出通道，再乘上图像的尺寸，其数据的字节数量可以达到百万级。卷积计算的速率是衡量CNN网络性能的重要指标，需要卷积神经网络能够在短时间内为计算内核提供大量的计算数据。

因此，如何提高卷积计算的效率，优化卷积神经网络的数据处理流程是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种数据处理方法、装置、一种计算机可读存储介质及一种电子设备，能够提高卷积计算的效率，优化卷积神经网络的数据处理流程。

为解决上述技术问题，本申请提供一种数据处理方法，应用于卷积神经网络，该数据处理方法包括：

当接收到数据读取指令时，根据数据读取指令确定配置参数；

根据配置参数确定三维缓存阵列中的目标数据；其中，三维缓存阵列由多个存储单元按照寄存器转换级电路构建规则搭建得到；

将目标数据输出至计算阵列以便执行数据计算操作。

可选的，将目标数据输出至计算阵列以便执行数据计算操作包括：

按照乒乓操作策略将三维缓存阵列中的目标数据输出至计算阵列以便执行数据计算操作。

可选的，在将目标数据存储至三维缓存阵列之前，还包括：

将三维缓存阵列划分为M个缓存层级。

可选的，还包括：

将最低缓存层级设置为乒乓操作阵列；其中，最低缓存层级为向计算阵列输出数据的缓存层级。

可选的，存储单元为经过行写入使能操作、行读取使能操作、列写入使能操作、列读取使能操作、排写入使能操作和排读取使能操作中任一或任几种使能操作的存储单元。

可选的，还包括：

当接收到数据缓存指令时，根据数据缓存指令确定待缓存数据；

获取三维缓存阵列的阵列配置参数，并根据阵列配置参数确定数据输入尺寸；

根据数据输入尺寸将待缓存数据存储至三维缓存阵列。

本申请还提供了一种数据处理装置，应用于卷积神经网络，该数据处理装置包括：

参数确定模块，用于当接收到数据读取指令时，根据数据读取指令确定配置参数；

数据确定模块，用于根据配置参数确定三维缓存阵列中的目标数据；其中，三维缓存阵列由多个存储单元按照寄存器转换级电路构建规则搭建得到；

数据输出模块，用于将目标数据输出至计算阵列以便执行数据计算操作。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述数据处理方法执行的步骤。

本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述数据处理方法执行的步骤。

本发明提供了一种数据处理方法，应用于卷积神经网络，包括当接收到数据读取指令时，根据所述数据读取指令确定配置参数；根据所述配置参数确定三维缓存阵列中的目标数据；其中，所述三维缓存阵列由多个存储单元按照寄存器转换级电路构建规则搭建得到；将所述目标数据输出至计算阵列以便执行数据计算操作。

本申请基于三维缓存阵列实现，预先通过多个存储单元按照寄存器转换级电路构建规则搭建得到三维缓存阵列。本申请首先根据数据读取指令得到配置参数，根据配置参数可以在配置参数的控制下任意读取三维缓存阵列的缓存数据而无需考虑数据存储的方式以及数据端口的位宽，输出的数据可以根据需求任意组合，提高了处理缓存数据的并行度。因此，本申请能够提高卷积计算的效率，优化卷积神经网络的数据处理流程。本申请同时还提供了一种数据处理装置、一种计算机可读存储介质和一种电子设备，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种数据处理方法的流程图；

图2为三维数据缓存模块结构示意图；

图3为本申请实施例所提供的一种数据缓存方法的流程图；

图4为本申请实施例所提供的一种缓存数据输出的方法的流程图；

图5为本申请实施例所提供的一种数据处理装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面请参见图1，图1为本申请实施例所提供的一种数据处理方法的流程图。

具体步骤可以包括：

S101：当接收到数据读取指令时，根据数据读取指令确定配置参数；

其中，本实施例可以应用于卷积神经网络，卷积神经网络中计算量最大的部分是卷积层，其主要的功能就是完成图像(feature)与神经元(filter)之间的卷积运算。CNN神经网络中，输入数据的规模可以归纳为如下所示的数学表达式：InputFeature＝[Channel][Height][Width]对于卷积层来说，输入数据的Height和Width的值随着不同层次卷积的迭代进行逐渐变小，而Channel的值不断增大。Channel即输入与输出通道，构建卷积层时需定义输入通道I，并由此确定输出通道O，每个网络层的参数量为I×O×K，其中K为卷积核的参数个数。例如，某个网络层有64个大小为3×3的卷积核，则对应K值为3×3＝9。在卷积神经网络中输入数据量＝输入图像宽度×输入图像高度×输入图像通道数目，输出数据量＝输出图像宽度×输出图像高度×输出图像通道数目，卷积计算总次数＝输出图像宽度×输出图像高度×输入图像通道数目×输出图像通道数目。

本实施例的操作可以在卷积神经网络的缓存模块中执行，进而将缓存模块中的数据输出至计算阵列中执行卷积计算，还可以存在通过外部存储空间(如DDR内存)将数据缓存至缓存模块中的操作。一般的，缓存数据的写入和输出可以同时存在。本步骤默认存在接收数据读取指令的操作，通过解析数据读取指令可以得到配置参数，根据配置参数中可以确定需要读取的缓存数据的地址以及缓存数据输出时的数据通道数目、数据长度、顺序和节拍。

作为一种可选的实施方式，本实施例中提到的配置参数既可以包括数据本身的数量信息，也可以包括缓冲结构中存储空间的尺寸信息。具体的，配置参数可以包括：输入数据精度、输入数据阵列长度、输入数据阵列宽度、输入数据阵列高度、存储空间长度、存储空间宽度、存储空间高度、数据处理并行度、输出数据精度、输出数据阵列长度、输出数据阵列宽度和输出数据阵列高度等参数信息。

S102：根据配置参数确定三维缓存阵列中的目标数据；

其中，在得到配置参数的基础上可以在三维缓存阵列中确定目标数据，以便将目标数据输出至计算阵列中。本实施例默认预先构建三维缓存阵列，可以将多个存储单元按照寄存器转换级电路构建规则搭建得到该三维缓存阵列。寄存器转换级电路又称标准RTL(register-transfer level)电路结构，请参见图2，图2为三维数据缓存模块结构示意图，可以先利用存储单元搭建多个二维存储阵列，再由多个二维存储阵列构成三维数据缓存阵列。在集成电路设计中寄存器转换级电路是用于描述同步数字电路操作的抽象级，在本实施例中可以按照该寄存器转换级电路的构建规则构建三维数据缓存阵列。

由于三维存储阵列包括多个存储单元在X、Y、Z三个维度上均由存储单元排列，作为一种可选的实施方式本实施例中的存储单元可以为经过行写入使能操作、行读取使能操作、列写入使能操作、列读取使能操作、排写入使能操作和排读取使能操作中任一或任几种使能操作的存储单元。当三维存储阵列的所有存储单元均经过上述六种使能操作时，可以任意按照行、列、排三个维度在三维存储阵列的存储阵列中写入或读取数据。

本实施例提供的三维缓存阵列可以在配置参数的控制下任意读取其中的内容，而无需考虑数据存储的方式以及数据端口的位宽。例如，根据配置参数确定的输出数据精度为8、输出数据阵列长度为1、输出数据阵列宽度为1、输出数据阵列高度为64，本实施例可以从三维缓存阵列中取出8x1x1x64个二进制数值，而此时不受存储空间长度、存储空间宽度、存储空间高度等参数的影响。因此本实施例采用标准RTL电路结构搭建的参数化可配置的三维数据缓存空间(即三维缓存阵列)可以为各种卷积神经网络计算提供高速数据支持，同时由于三维缓存阵列是采用标准RTL硬件描述语言设计，可以灵活应用于专用芯片设计领域，为卷积神经网络实现提供了一个专用芯片的解决方案。

S103：将目标数据输出至计算阵列以便执行数据计算操作。

其中，在得到数据读取指令对应的目标数据后，可以将目标数据输出至计算阵列，以便计算阵列根据目标数据执行相应的卷积计算操作。具体的，本步骤可以根据S101得到的配置参数调整输出目标数据时的数据通道数、数据长度以及数据输出各通道之间的相互关系。需要说明的是，本实施例可以同时输出多条数据读取指令对应的多个目标数据，由于采用三维缓存阵列可以无需考虑数据端口的位宽随意组合输出的数据，提高了缓存数据的处理并行度

作为一种可行的实施方式，本步骤可以按照乒乓操作策略将三维缓存阵列中的目标数据输出至计算阵列以便执行数据计算操作。乒乓操作是一种数据流控制的处理方式，可以通过预先设置的输入数据选择单元和输出数据选择单元按节拍、相互配合的切换，将经过缓冲的数据流没有停顿地送到计算阵列进行运算与处理。把乒乓操作模块视为一个整体，站在这个模块的两端看数据，输入数据流和输出数据流都是连续不断的，没有任何停顿。进一步的，上述采用乒乓操作策略输出目标数据的应用场景可以为既有缓存写入又有缓存输出的情况，以便进一步提高数据吞吐量。本实施例可以在不同的配置参数控制下，实现多种组合的数据输出方式，有利于卷积神经网络动态调整结构，扩展了卷积神经网络的具体功能，丰富了卷积神经网络的实现方式。本实施例可以适用于常见CNN神经网络中多种尺寸的二维卷积计算要求。通过参数化配置能够在一套硬件设备上实现不同的数据排序方式，为使用者提供灵活的使用方式。

本实施例基于三维缓存阵列实现，预先通过多个存储单元按照寄存器转换级电路构建规则搭建得到三维缓存阵列。本实施例首先根据数据读取指令得到配置参数，根据配置参数可以在配置参数的控制下任意读取三维缓存阵列的缓存数据而无需考虑数据存储的方式以及数据端口的位宽，输出的数据可以根据需求任意组合，提高了处理缓存数据的并行度。因此，本实施例能够提高卷积计算的效率，优化卷积神经网络的数据处理流程。

下面请参见图3，图3为本申请实施例所提供的一种数据缓存方法的流程图；图1对应的实施例中的目标数据可以按照本实施例描述的方案存储至三维缓存阵列中，可以将本身实施例与图1对应的实施例相结合得到更为优选的实施方式。

S201：当接收到数据缓存指令时，根据数据缓存指令确定待缓存数据；

S202：获取三维缓存阵列的阵列配置参数，并根据阵列配置参数确定数据输入尺寸；

S203：根据数据输入尺寸将待缓存数据存储至三维缓存阵列。

其中，本实施例描述的是将数据写入三维缓存阵列的过程，可以根据卷积神经网络的数据结构特点确定阵列配置参数，根据阵列配置参数确定数据输入尺寸，将输入数据的尺寸包括c×w×h(即，长宽高)三种参数。

下面请参见图4，图4为本申请实施例所提供的一种缓存数据输出的方法的流程图；本实施例是对图1对应的实施例中S103的进一步解释，可以将本身实施例与图1对应的实施例相结合得到更为优选的实施方式。

S301：在将目标数据存储至三维缓存阵列之前，将三维缓存阵列划分为M个缓存层级；

S302：将最低缓存层级设置为乒乓操作阵列；其中，最低缓存层级为向计算阵列输出数据的缓存层级。

S303：将目标数据输出至计算阵列以便执行数据计算操作。

其中，本实施例可以应用于卷积神经网络计算存在更高的数据吞吐量要求的情况下，本实施例进一步扩展三维缓存阵列的数据缓存结构，增加数据缓冲的级数，并将最后一级形成乒乓操作阵列。

作为一种优选的实施方式，可以将图1、图3和图4对应的实施例相结合得到更为优选的实施例。由若干存储单元组合成三维存储阵列，该存储阵列可以在配置参数的控制下任意读取其中的内容，而无需考虑数据存储的方式以及数据端口的位宽。输出的数据可以根据需要任意组合，输出数据的顺序和节拍都可以通过参数配置进行改变。该三维存储阵列的输入宽度可以根据外部存储空间(如DDR等)的数据接口宽度变化的，由配置参数来进行控制。三维缓存阵列的存在提供了参数化可配置神经网络数据缓冲结构及实现方法，可以在固定数量的硬件设备上进行高速传输、大批量的用于卷积神经网络进行二维卷积运算的数据。三维缓存阵列可以在配置参数的控制下任意读取其中的内容，而无需考虑数据存储的方式以及数据端口的位宽。还可以采用乒乓阵列的方式拓展数据并行度，加速数据传输。需要说明的是，三维缓存阵列的规模是根据特定应用环境下随具体需要而变化的，在硬件资源充足的情况下可以任意扩展，提高数据处理的并行度，加快大尺寸卷积计算的速度。上述实施例通过参数配置来实现各种尺寸卷积核所需的计算数据预处理的方案，并采用RTL对数据预处理架构(即三维缓存阵列)进行了描述，可以应用于专用芯片设计领域。

请参见图5，图5为本申请实施例所提供的一种数据处理装置的结构示意图；

该装置可以包括：

参数确定模块100，用于当接收到数据读取指令时，根据数据读取指令确定配置参数；

数据确定模块200，用于根据配置参数确定三维缓存阵列中的目标数据；其中，三维缓存阵列由多个存储单元按照寄存器转换级电路构建规则搭建得到；

数据输出模块300，用于将目标数据输出至计算阵列以便执行数据计算操作。

本实施例基于三维缓存阵列实现，预先通过多个存储单元按照寄存器转换级电路构建规则搭建得到三维缓存阵列。本实施例首先根据数据读取指令得到配置参数，根据配置参数可以在配置参数的控制下任意读取三维缓存阵列的缓存数据而无需考虑数据存储的方式以及数据端口的位宽，输出的数据可以根据需求任意组合，提高了处理缓存数据的并行度。因此，本实施例能够提高卷积计算的效率，优化卷积神经网络的数据处理流程。

进一步的，数据输出模块300具体为用于按照乒乓操作策略将三维缓存阵列中的目标数据输出至计算阵列以便执行数据计算操作的模块。

进一步的，还包括：

层级划分模块，用于在将目标数据存储至三维缓存阵列之前，将三维缓存阵列划分为M个缓存层级。

进一步的，还包括：

最低缓存层级设置模块，用于将最低缓存层级设置为乒乓操作阵列；其中，最低缓存层级为向计算阵列输出数据的缓存层级。

进一步的，存储单元为经过行写入使能操作、行读取使能操作、列写入使能操作、列读取使能操作、排写入使能操作和排读取使能操作中任一或任几种使能操作的存储单元。

进一步的，还包括：

阵列配置参数确定模块，用于当接收到数据缓存指令时，根据数据缓存指令确定待缓存数据；还用于获取三维缓存阵列的阵列配置参数，并根据阵列配置参数确定数据输入尺寸；

存储模块，用于根据数据输入尺寸将待缓存数据存储至三维缓存阵列。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种数据处理方法，其特征在于，应用于卷积神经网络，包括：

当接收到数据读取指令时，根据所述数据读取指令确定配置参数；其中，所述配置参数包括：输入数据精度、输入数据阵列长度、输入数据阵列宽度、输入数据阵列高度、存储空间长度、存储空间宽度、存储空间高度、数据处理并行度、输出数据精度、输出数据阵列长度、输出数据阵列宽度和输出数据阵列高度；

根据所述配置参数确定三维缓存阵列中的目标数据；其中，所述三维缓存阵列由多个存储单元按照寄存器转换级电路构建规则搭建得到；

将所述目标数据输出至计算阵列以便执行数据计算操作；

其中，还包括：

当接收到数据缓存指令时，根据所述数据缓存指令确定待缓存数据；

获取所述三维缓存阵列的阵列配置参数，并根据所述阵列配置参数确定数据输入尺寸；所述阵列配置参数根据所述三维缓存阵列所在的卷积神经网络的数据结构特点确定；

根据所述数据输入尺寸将所述待缓存数据存储至所述三维缓存阵列。

2.根据权利要求1所述数据处理方法，其特征在于，将所述目标数据输出至计算阵列以便执行数据计算操作包括：

按照乒乓操作策略将所述三维缓存阵列中的目标数据输出至计算阵列以便执行数据计算操作。

3.根据权利要求1所述数据处理方法，其特征在于，所述存储单元为经过行写入使能操作、行读取使能操作、列写入使能操作、列读取使能操作、排写入使能操作和排读取使能操作中任一或任几种使能操作的存储单元。

4.根据权利要求1所述数据处理方法，其特征在于，在将所述目标数据存储至三维缓存阵列之前，还包括：

将所述三维缓存阵列划分为M个缓存层级。

5.根据权利要求4所述数据处理方法，其特征在于，还包括：

将最低缓存层级设置为乒乓操作阵列；其中，所述最低缓存层级为向计算阵列输出数据的缓存层级。

6.一种数据处理装置，其特征在于，应用于卷积神经网络，包括：

参数确定模块，用于当接收到数据读取指令时，根据所述数据读取指令确定配置参数；其中，所述配置参数包括：输入数据精度、输入数据阵列长度、输入数据阵列宽度、输入数据阵列高度、存储空间长度、存储空间宽度、存储空间高度、数据处理并行度、输出数据精度、输出数据阵列长度、输出数据阵列宽度和输出数据阵列高度；

数据确定模块，用于根据所述配置参数确定三维缓存阵列中的目标数据；其中，所述三维缓存阵列由多个存储单元按照寄存器转换级电路构建规则搭建得到；

数据输出模块，用于将所述目标数据输出至计算阵列以便执行数据计算操作；

其中，还包括：

阵列配置参数确定模块，用于当接收到数据缓存指令时，根据数据缓存指令确定待缓存数据；还用于获取三维缓存阵列的阵列配置参数，并根据阵列配置参数确定数据输入尺寸；所述阵列配置参数根据所述三维缓存阵列所在的卷积神经网络的数据结构特点确定；

存储模块，用于根据数据输入尺寸将待缓存数据存储至三维缓存阵列。

7.根据权利要求6所述数据处理装置，其特征在于，所述数据输出模块具体为用于按照乒乓操作策略将所述三维缓存阵列中的目标数据输出至计算阵列以便执行数据计算操作的模块。

8.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述数据处理方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据处理方法的步骤。

Images