CN111429334A

CN111429334A - 一种数据处理方法、装置、存储介质及电子设备

Info

Publication number: CN111429334A
Application number: CN202010224321.5A
Authority: CN
Inventors: 赵斌; 白冰; 李智; 吴建兵
Original assignee: Photon Arithmetic Beijing Technology Co ltd
Current assignee: Photon Arithmetic Beijing Technology Co ltd
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2020-07-17

Abstract

本发明提供了一种数据处理方法、装置、存储介质及电子设备。该方法首先对待处理图像进行卷积处理，生成目标卷积特征。然后对目标卷积特征进行第一方向的池化操作，生成中间数据。之后将中间数据存储至缓冲器，并读取中间数据，对中间数据进行第二方向的池化操作，生成目标池化结果。可见，本方案是将中间数据存储至缓冲器，由于中间数据是经过第一方向的池化操作后获得，可得中间数据的数据量小于目标卷积特征的数据量，之后，池化单元只需读取中间数据，然后对该中间数据进行第二方向的池化操作，可见，本方案中，池化单元存储和读取的中间数据都小于目标卷积特征的数据，因此，本方案能够占用更小的缓冲器的空间，提高了缓冲器的空间利用率。

Description

一种数据处理方法、装置、存储介质及电子设备

技术领域

本发明涉及数据计算技术领域，具体涉及一种数据处理方法、装置、存储介质及电子设备。

背景技术

卷积神经网络凭借其局部权值共享的架构特性，在语音识别和图像处理等领域得到了快速的发展。在对图像进行卷积计算时，需要将计算的中间数据存储在缓冲器buffer上。

目前，首先是对每一层图像数据进行卷积运算，然后将卷积运算后的结果存储在缓冲器上，再从缓冲器中读取上述结果，对这些结果进行池化操作。

发明人发现，上述中间数据的存储和读取会占用缓冲器的空间，而缓冲器的存储空间有限，因此，如何提供一种数据处理方法，能够提高缓冲器的空间利用率，是本领域技术人员亟待解决的一大技术难题。

发明内容

有鉴于此，本发明实施例提供了一种数据处理方法，能够提高缓冲器的空间利用率。

为实现上述目的，本发明实施例提供如下技术方案：

一种数据处理方法，包括：

对待处理图像进行卷积处理，生成目标卷积特征；

对所述目标卷积特征进行第一方向的池化操作，生成中间数据；

将所述中间数据存储至缓冲器，并读取所述中间数据，对所述中间数据进行第二方向的池化操作，生成目标池化结果，所述第一方向垂直于所述第二方向。

可选的，所述对待处理图像进行卷积处理，生成目标卷积特征，包括：

基于预设卷积核以及预设移动步数，沿所述第一方向对所述待处理图像进行第一卷积处理，沿所述第二方向对所述待处理图像进行第二卷积处理，生成所述目标卷积特征。

可选的，所述对所述目标卷积特征进行第一方向的池化操作，包括：

基于预设过滤器，沿所述第一方向移动预设移动步幅，对所述目标卷积特征进行池化操作。

可选的，所述对所述中间数据进行第二方向的池化操作，包括：

基于所述预设过滤器，沿所述第二方向移动所述预设移动步幅，对所述中间数据进行池化操作。

一种数据处理装置，包括：

第一处理模块，用于对待处理图像进行卷积处理，生成目标卷积特征；

第二处理模块，用于对所述目标卷积特征进行第一方向的池化操作，生成中间数据；

第三处理模块，用于将所述中间数据存储至缓冲器，并读取所述中间数据，对所述中间数据进行第二方向的池化操作，生成目标池化结果，所述第一方向垂直于所述第二方向。

可选的，所述第一处理模块包括：

第一处理单元，用于基于预设卷积核以及预设移动步数，沿所述第一方向对所述待处理图像进行第一卷积处理，沿所述第二方向对所述待处理图像进行第二卷积处理，生成所述目标卷积特征。

可选的，所述第二处理模块包括：

第二处理单元，用于基于预设过滤器，沿所述第一方向移动预设移动步幅，对所述目标卷积特征进行池化操作。

可选的，所述第三处理模块包括：

第三处理单元，用于基于所述预设过滤器，沿所述第二方向移动所述预设移动步幅，对所述中间数据进行池化操作。

一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行任意一项上述的数据处理方法。

一种电子设备，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行任意一项上述的数据处理方法。

基于上述技术方案，本发明提供了一种数据处理方法、装置、存储介质及电子设备，其中，该数据处理方法首先对待处理图像进行卷积处理，生成目标卷积特征。然后对所述目标卷积特征进行第一方向的池化操作，生成中间数据。之后将所述中间数据存储至缓冲器，并读取所述中间数据，对所述中间数据进行第二方向的池化操作，生成目标池化结果。可见，本方案是先对目标卷积特征进行第一方向的池化操作，生成中间数据，然后将中间数据存储至缓冲器，而由于中间数据是经过第一方向的池化操作后获得，即中间数据的数据量势必小于目标卷积特征的数据量，之后，池化单元只需读取中间数据，然后对该中间数据进行第二方向的池化操作，可见，本方案中，池化单元存储和读取的数据都小于目标卷积特征的数据，因此，本方案能够提高缓冲器的空间利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明实施例提供的一种待处理图像以及卷积核的结构示意图；

图3为本发明实施例提供的一种卷积处理的示意图；

图4为本发明实施例提供的一种卷积处理的又一示意图；

图5为本发明实施例提供的一种卷积处理的又一示意图；

图6为本发明实施例提供的一种卷积处理的又一示意图；

图7为本发明实施例提供的一种池化处理的示意图；

图8为本发明实施例提供的一种池化处理的又一示意图；

图9为本发明实施例提供的一种池化处理的又一示意图；

图10为本发明实施例提供的一种池化单元的结构示意图；

图11为本发明实施例提供的一种数据处理方法应用的架构示意图；

图12为本发明实施例提供的一种数据处理方法的又一流程示意图；

图13为本发明实施例提供的一种数据处理方法的又一流程示意图；

图14为本发明实施例提供的一种数据处理方法的又一流程示意图；

图15为本发明实施例提供的一种数据处理装置的结构示意图；

图16为本发明实施例提供的一种电子设备的硬件示意图。

具体实施方式

请参阅图1，图1为本发明实施例提供的一种数据处理方法的流程示意图，该数据处理方法用于提高缓冲器的空间利用率，具体包括步骤：

S11、对待处理图像进行卷积处理，生成目标卷积特征。

在数字图像处理中，待处理的平面数字图像是通过一个像素矩阵进行呈现，图像中每个像素对应着矩阵中的每个元素。例如，假设一个图像的分辨率为1024*768，那么这个矩阵的行数为1024，列数为768。

具体的，在对图像进行处理时，可以分为卷积处理以及池化处理，其中，卷积处理是采用一个滤波器小矩阵(卷积核)对表征平面数字图像的像素矩阵中的每个元素进行矩阵计算，计算其周围像素和滤波器矩阵中对应位置的元素的乘积，然后将各乘积进行加和，作为该像素滤波后的新值。其中，卷积核通常为一个方阵，即该矩阵的行数与列数相同。

示意性，结合图2，假设待处理图像为一个5*5的像素矩阵，卷积核为一个3*3的方阵，步长为1，那么进行滤波的过程如下：

首先，如图3所示，将待处理图像中左上角的九个像素与卷积核进行计算，得到各乘积的加和(1*1+2*0+3*1+6*0+7*1+8*0+9*1+8*0+7*1)＝27，作为卷积后结果(卷积特征)的第一个新值。其次，如图4所示，沿待处理图像的行方向，移动一步，进行第二个新值的计算，为2*1+3*0+4*1+7*0+8*1+9*0+8*1+7*0+6*1＝28。之后，如图5所示，沿待处理图像的行方向，继续向右移动一步，进行第三个新值的计算，为3*1+4*0+5*1+8*0+9*1+0*0+7*1+6*0+5*1＝29。以此类推，如图6所示，进行九次卷积计算，得到3*3的卷积特征。

S12、对所述目标卷积特征进行第一方向的池化操作，生成中间数据。

具体的，池化处理是一种降采样方式，通常包括最小值池化、平均值池化以及最大值池化，其中，以最大值池化为例，其是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。

示意性的

如图7所示，假设卷积特征为一个4*4的矩阵，用到的池化类型是最大池化，执行最大池化的树池是一个2*2矩阵，使用的过滤器为2*2，步幅为2。

那么，当4*4矩阵为

最终得到的池化结果为

又如图8所示，输入的卷积特征是一个5*5矩阵，用到的池化类型是最大池化，执行最大池化的树池是一个3*3矩阵。使用的过滤器为3*3，步幅为1。

那么，当5*5矩阵为

最终得到的池化结果为

值得一提的是，在本实施例中，假设第一方向为横向，那么本实施例首先对上述目标卷积特征进行第一方向的池化操作，生成中间数据。

例如，如图9所示，假设x11等为卷积计算结果，y11为池化操作结果，图示过滤器为3，步幅为1，也可为其他移动参数。

A1、做完卷积计算后，先把x方向的三个数据送入池化单元，进行最大化操作，得到最大值y11；

A2、向右移动一个步幅，将x方向的另三个数据送入池化单元，进行最大化操作，得到最大值y12；

A3、做完所有x方向池化操作后，得到中间结果y11、y12、y21、y22、y31、y32。

以目标卷积特征为上述5*5矩阵，使用的过滤器为3*1，步幅为1，那么，经过第一方向的池化操作后的中间数据为

S13、将所述中间数据存储至缓冲器，并读取所述中间数据，对所述中间数据进行第二方向的池化操作，生成目标池化结果。

由于第一方向垂直于所述第二方向，假设第一方向为横向，那么第二方向为纵向。即，本步骤是对上述中间数据进行第二方向的池化操作如下。

A4、将中间结果送到buffer上存储。

A5、池化单元再从buffer上读取y方向数据，进行y方向池化操作；

A6、向右移动一个步幅，再次读取y方向的数据，进行y方向池化操作。

示意性的，

假设使用的过滤器为1*3，步幅为1，那么，将中间数据输入如图10所示的池化单元，能够得到最终的池化结果为

值得一提的是，目前在对图像进行处理时，是首先对每一层图像数据进行卷积运算，然后将卷积运算后的结果(卷积特征)存储在缓冲器上，再从缓冲器中读取上述结果，对这些结果进行池化操作。

例如，结合图8，当卷积特征为5*5矩阵时，缓冲器需要将5*5的卷积特征进行存储，然后池化单元从所述缓冲器中读取出上述5*5的矩阵，再对该5*5矩阵进行池化操作。

发明人发现，随着数据量的不断增加，卷积特征远大于5*5的矩阵，而上述卷积特征的存储和读取会占用缓冲器的空间，而缓冲器的存储空间有限，因此，如图11所示，本实施例提供一种数据处理方法，首先从存储器DRAM中读取目标卷积特征，然后对目标卷积特征进行第一方向的池化操作，生成中间数据(池化结果)，然后将中间数据存储至缓冲器buffer，而由于中间数据是经过第一方向的池化操作后获得，如上述的3*5的矩阵，可见，中间数据的数据量要小于目标卷积特征的数据量，之后，池化单元只需从缓冲器buffer中读取中间数据，然后对该中间数据进行第二方向的池化操作，之后，将最终的池化结果写回存储器DRAM。可见，本方案中，池化单元存储和读取的数据都小于目标卷积特征的数据，因此，本方案能够提高缓冲器的空间利用率。

在上述实施例的基础上，如图12所示，本发明实施例还提供了一种对待处理图像进行卷积处理，生成目标卷积特征的具体实现方式，包括：

S121、基于预设卷积核以及预设移动步数，沿所述第一方向对所述待处理图像进行第一卷积处理，沿所述第二方向对所述待处理图像进行第二卷积处理，生成所述目标卷积特征。

除此，如图13所示，本发明实施例还提供了一种对所述目标卷积特征进行第一方向的池化操作的具体实现方式，包括：

S131、基于预设过滤器，沿所述第一方向移动预设移动步幅，对所述目标卷积特征进行池化操作。

除此，如图14所示，本发明实施例还提供了一种对所述中间数据进行第二方向的池化操作的具体实现方式，包括：

S141、基于所述预设过滤器，沿所述第二方向移动所述预设移动步幅，对所述中间数据进行池化操作。

示意性的，池化方向与卷积移动方向一致，一般为先x方向移动，然后y方向移动。本方案所说的x为横向，y为纵向。

(1)做完卷积后，先把计算结果送入池化单元，对其做x方向的池化。

(2)池化后的结果送到buffer中，

(3)池化单元再从buffer中读取数据做y方向的池化，得到最终池化结果。

假设池化前图像的宽为W：池化前图像高为H，图像深度(通道数)为D，卷积核宽高为F，步长为S。

那么，现有技术中，池化前将W*H*D写入buffer，读取图像尺寸：W*H*D。池化后输出图像深度：D＝N。池化后输出图像宽度：w＝(W-F)/S+1。池化后输出图像高度：w＝(H-F)/S+1。

而本实施例提供的方式为：

a、做完卷积后先把计算结果送入池化单元，做x方向池化。

则，x池化后尺寸为：宽为w＝(W-F)/S+1，高为H，深度D，再写入buffer。

b、再次读取buffer进入y方向池化，可见，本方案中，池化前读取图像尺寸为[(W-F)/S+1]*H*D。

c、池化后输出图像深度：D＝N；池化后输出图像宽度：w＝(W-F)/S+1。池化后输出图像高度：w＝(H-F)/S+1。

可见，本方案中，卷积写入buffer的尺寸减小，且池化单元从buffer读取尺寸也减小。

在上述实施例的基础上，如图15所示，本发明实施例还提供了一种数据处理装置，包括：

第一处理模块151，用于对待处理图像进行卷积处理，生成目标卷积特征；

第二处理模块152，用于对所述目标卷积特征进行第一方向的池化操作，生成中间数据；

第三处理模块153，用于将所述中间数据存储至缓冲器，并读取所述中间数据，对所述中间数据进行第二方向的池化操作，生成目标池化结果，所述第一方向垂直于所述第二方向。

其中，所述第一处理模块可以包括：

除此，所述第二处理模块可以包括：

除此，所述第三处理模块可以包括：

该装置的工作原理请参见上述方法实施例，在此不重复叙述。

数据处理装置包括处理器和存储器，上述第一处理模块、第二处理模块以及第三处理模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高缓冲器的空间利用率。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据处理方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述基于缓冲器的数据处理方法。

本发明实施例提供了一种设备，如图16所示，设备包括至少一个处理器161、以及与处理器连接的至少一个存储器162、总线163；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的数据处理的方法。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

对待处理图像进行卷积处理，生成目标卷积特征；

综上，本发明提供了一种数据处理方法、装置、存储介质及电子设备，其中，该数据处理方法首先对待处理图像进行卷积处理，生成目标卷积特征。然后对所述目标卷积特征进行第一方向的池化操作，生成中间数据。之后将所述中间数据存储至缓冲器，并读取所述中间数据，对所述中间数据进行第二方向的池化操作，生成目标池化结果。可见，本方案是先对目标卷积特征进行第一方向的池化操作，生成中间数据，然后将中间数据存储至缓冲器，而由于中间数据是经过第一方向的池化操作后获得，即中间数据的数据量势必小于目标卷积特征的数据量，之后，池化单元只需读取中间数据，然后对该中间数据进行第二方向的池化操作，可见，本方案中，池化单元存储和读取的数据都小于目标卷积特征的数据，因此，本方案能够提高缓冲器的空间利用率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种数据处理方法，其特征在于，包括：

对待处理图像进行卷积处理，生成目标卷积特征；

2.根据权利要求1所述的数据处理方法，其特征在于，所述对待处理图像进行卷积处理，生成目标卷积特征，包括：

3.根据权利要求1所述的数据处理方法，其特征在于，所述对所述目标卷积特征进行第一方向的池化操作，包括：

4.根据权利要求3所述的数据处理方法，其特征在于，所述对所述中间数据进行第二方向的池化操作，包括：

5.一种数据处理装置，其特征在于，包括：

6.根据权利要求5所述的数据处理装置，其特征在于，所述第一处理模块包括：

7.根据权利要求5所述的数据处理装置，其特征在于，所述第二处理模块包括：

8.根据权利要求7所述的数据处理装置，其特征在于，所述第三处理模块包括：

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至4中任意一项所述的数据处理方法。

10.一种电子设备，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至4中任意一项所述的数据处理方法。