CN115841140B - 一种反最大池化运算方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种反最大池化运算方法、装置、电子设备及存储介质，反最大池化运算的装置包括初始化模块、索引值计算模块和写入模块，利用初始化模块来计算需要初始化内存区域的大小并对该内存区域进行初始化操作，利用索引值计算模块计算出用于指示数据对应地址的索引值，最后利用写入模块将最大池化后数据中每一像素点的数据写入对应的地址中。索引值计算模块可采用芯片中的FMA，写入模块可采用芯片中的wdma等，因此，该装置的各模块逻辑清晰易于实现，即无需单独设计硬件实现方案，以提高已有硬件利用率，避免单独设计硬件增加硬件面积，缩短了芯片的开发周期。

Description

一种反最大池化运算方法、装置、电子设备及存储介质

技术领域

本申请涉及集成电路技术设计领域，具体而言，涉及一种反最大池化运算方法、装置、电子设备及存储介质。

背景技术

在神经网络模型中，会用到很多种类的算子，其中大部分的运算是卷积运算与池化运算，池化运算会将图像的感受野变小，减少图像的尺寸，为此，在有些模型中，会增加反池化运算(例如最大值反池化运算，即maxunpooling),从而将图像的尺寸恢复到与进行池化运算前一样的尺寸，在神经网络加速器上运行一些网络模型时，为了保证能够运行各种模型，需要能够支持不同的算子单元，一些网络模型会用到最大值反池化运算的算子，即需要保证硬件能够支持反池化的操作。现有技术为了最大值反池化运算的算子设计硬件方案，导致硬件利用率低，增加了额外的硬件面积，延长了芯片的开发周期。

发明内容

本申请实施例的目的在于提供一种反最大池化运算方法、装置、电子设备及存储介质，用以解决现有技术为了最大值反池化运算的算子设计硬件方案，导致硬件利用率低，增加了额外的硬件面积，延长了芯片的开发周期的问题。

本申请实施例提供的一种反最大池化运算的装置，包括：

初始化模块，用于根据输入的最大池化后数据的尺寸、滤波器尺寸和步进值，获取需要初始化内存区域的大小并将对该内存区域初始化；

索引值计算模块，用于根据输入的索引数据，获取最大池化后数据中每一像素点的数据的索引值；以及

写入模块，用于将最大池化后数据写入初始化后的内存区域中；其中，写入初始化后的内存区域的方法包括：依次将最大池化后数据中每一像素点的数据根据索引值写入对应的地址中。

上述技术方案中，反最大池化运算的装置包括初始化模块、索引值计算模块和写入模块，利用初始化模块来计算需要初始化内存区域的大小并对该内存区域进行初始化操作，利用索引值计算模块计算出用于指示数据对应地址的索引值，最后利用写入模块将最大池化后数据中每一像素点的数据写入对应的地址中。初始化模块的技术实现只需一个能够实现加减乘除运算的硬件模块和实现初始化操作的硬件模块，索引值计算模块的技术实现只需一个能够对流式数据进行加减乘除运算的硬件模块，写入模块的技术实现只需一个能够提供跳写功能的硬件模块，例如索引值计算模块可采用芯片中的FMA，写入模块可采用芯片中的wdma等，因此，该装置的各模块逻辑清晰易于实现，即无需单独设计硬件实现方案，以提高已有硬件利用率，避免单独设计硬件增加硬件面积，缩短了芯片的开发周期。

在一些可选的实施方式中，需要初始化内存区域的大小为：((h-1)×s_h+f_h)×((w-1)×s_w+f_w)；

其中，h、w分别为最大池化后数据的横轴尺寸和纵轴尺寸，f_h、f_w分别为滤波器的横轴尺寸和纵轴尺寸，s_h、s_w分别为步进值的横轴尺寸和纵轴尺寸。

上述技术方案中，在计算出所需初始化内存区域的大小之后，通过软件配置，将一块内存区域初始化为0。

在一些可选的实施方式中，索引值计算模块包括芯片中的FMA模块；其中，FMA模块用于对流式数据格式的索引数据进行加减乘除逻辑运算，以得到最大池化后数据中每一像素点的数据的索引值。

上述技术方案中，索引值计算模块采用芯片中的FMA模块，FMA模块可以对流式数据进行加减乘除的逻辑运算，本实施例中利用FMA模块对索引数据进行运算处理，得到最大池化后数据中每一像素点的数据的索引值。

在一些可选的实施方式中，索引值根据以下方式确定：

indices＝offset+idx×idx_byte

其中，indices为索引值，idx为输入的索引数据，offset为内存区域的初始地址，idx_byte为存储每个像素点的数据所需的字节数。

上述技术方案中，索引值indices相当于内存中的地址，offset表示的数据的偏移地址，由于初始化了内存区域，offset的值即为这片内存区域的初始地址。idx为输入的索引数据，idx_byte与输入的最大池化后数据的格式有关，即存储最大池化后数据中每个数据所需要的位数，例如最大池化后数据为16-bit形式，即为2-byte，则idx_byte＝2。

在一些可选的实施方式中，写入模块包括用于写入数据的DMA模块；用于写入数据的DMA模块提供跳写功能，根据索引值配置不同的地址信息，依次将每个像素点的数据写入对应的地址中。

上述技术方案中，写入模块采用wdma，wdma为用于写入数据的DMA(直接存储器访问)模块，利用wdma的跳写功能，在将最大池化后数据中的每个数据填入到初始化的内存区域的过程中，可以配置不同的地址信息，依次将每个像素点的数据写入到对应的地址中，这里所配置的地址信息即为索引值。

本申请实施例提供的一种反最大池化运算方法，包括：

根据输入的最大池化后数据的尺寸、滤波器尺寸和步进值，获取需要初始化内存区域的大小并将对该内存区域初始化；

根据输入的索引数据，获取最大池化后数据中每一像素点的数据的索引值；以及

将最大池化后数据写入初始化后的内存区域中；其中，写入初始化后的内存区域的方法包括：依次将最大池化后数据中每一像素点的数据根据其索引值写入对应的地址中。

上述技术方案中，计算需要初始化内存区域的大小并对该内存区域进行初始化操作，计算出用于指示数据对应地址的索引值，最后将最大池化后数据中每一像素点的数据写入对应的地址中。该方法的硬件实现只需能够实现加减乘除运算的硬件模块、能够实现初始化操作的硬件模块、能够对流式数据进行加减乘除运算的硬件模块以及能够提供跳写功能的硬件模块，因此，该反最大池化运算方法逻辑清晰易于实现，可以利用已有的硬件模块来实现，以提高已有硬件利用率，避免单独设计硬件增加硬件面积，缩短了芯片的开发周期。

在一些可选的实施方式中，需要初始化内存区域的大小为：((h-1)×s_h+f_h)×((w-1)×s_w+f_w)；

其中，h、w分别为最大池化后数据的横轴尺寸和纵轴尺寸，f_h、f_w分别为滤波器的横轴尺寸和纵轴尺寸，s_h、s_w分别为步进值的横轴尺寸和纵轴尺寸。

在一些可选的实施方式中，索引值根据以下方式确定：

indices＝offset+idx×idx_byte

其中，indices为索引值，idx为输入的索引数据，offset的值为内存区域的初始地址，idx_byte为存储每个像素点的数据所需的字节数。

本申请实施例提供的一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如以上任一所述的方法。

本申请实施例提供的一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如以上任一所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种反最大池化运算的装置功能模块图；

图2为本申请实施例提供的一种反最大池化运算方法步骤流程图；

图3为本申请实施例提供的一种反最大池化结果的示意图；

图4示出了本申请实施例提供的电子设备的一种可能的结构。

图标：1-初始化模块，2-索引值计算模块，3-写入模块，41-处理器，42-存储器，43-通信接口，44-通信总线。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

请参照图1，图1为本申请实施例提供的一种反最大池化运算的装置功能模块图，包括初始化模块1、索引值计算模块2和写入模块3。其中，初始化模块1，用于根据输入的最大池化后数据的尺寸、滤波器尺寸和步进值，获取需要初始化内存区域的大小并将对该内存区域初始化。索引值计算模块2，用于根据输入的索引数据，获取最大池化后数据中每一像素点的数据的索引值。写入模块3，用于将最大池化后数据写入初始化后的内存区域中；其中，写入初始化后的内存区域的方法包括：依次将最大池化后数据中每一像素点的数据根据索引值写入对应的地址中。

本申请实施例中，反最大池化运算的装置包括初始化模块1、索引值计算模块2和写入模块3，利用初始化模块1来计算需要初始化内存区域的大小并对该内存区域进行初始化操作，利用索引值计算模块2计算出用于指示数据对应地址的索引值，最后利用写入模块3将最大池化后数据中每一像素点的数据写入对应的地址中。初始化模块1的技术实现只需一个能够实现加减乘除运算的硬件模块和实现初始化操作的硬件模块，索引值计算模块2的技术实现只需一个能够对流式数据进行加减乘除运算的硬件模块，写入模块3的技术实现只需一个能够提供跳写功能的硬件模块，例如索引值计算模块可采用芯片中的FMA，写入模块可采用芯片中的wdma等，因此，该装置的各模块逻辑清晰易于实现，即无需单独设计硬件实现方案，以提高已有硬件利用率，避免单独设计硬件增加硬件面积，缩短了芯片的开发周期。

在一些可选的实施方式中，需要初始化内存区域的大小为：((h-1)×s_h+f_h)×((w-1)×s_w+f_w)；其中，h、w分别为最大池化后数据的横轴尺寸和纵轴尺寸，f_h、f_w分别为滤波器的横轴尺寸和纵轴尺寸，s_h、s_w分别为步进值的横轴尺寸和纵轴尺寸。本申请实施例中，在计算出所需初始化内存区域的大小之后，通过软件配置，将一块内存区域初始化为0。

在一些可选的实施方式中，索引值计算模块2包括芯片中的FMA模块；其中，FMA模块用于对流式数据格式的索引数据进行加减乘除逻辑运算，以得到最大池化后数据中每一像素点的数据的索引值。本申请实施例中，索引值计算模块2采用芯片中的FMA模块，FMA模块可以对流式数据进行加减乘除的逻辑运算，本实施例中利用FMA模块对索引数据进行运算处理，得到最大池化后数据中每一像素点的数据的索引值。

在一些可选的实施方式中，索引值根据以下方式确定：

indices＝offset+idx×idx_byte

其中，indices为索引值，idx为输入的索引数据，offset为内存区域的初始地址，idx_byte为存储每个像素点的数据所需的字节数。本申请实施例中，索引值indices相当于内存中的地址，offset表示的数据的偏移地址，由于初始化了内存区域，offset的值即为这片内存区域的初始地址。idx为输入的索引数据，idx_byte与输入的最大池化后数据的格式有关，即存储最大池化后数据中每个数据所需要的位数，例如最大池化后数据为16-bit形式，即为2-byte，则idx_byte＝2。

在一些可选的实施方式中，写入模块3包括用于写入数据的DMA模块；用于写入数据的DMA模块提供跳写功能，根据索引值配置不同的地址信息，依次将每个像素点的数据写入对应的地址中。本申请实施例中，写入模块3采用wdma，wdma为用于写入数据的DMA(直接存储器访问)模块，利用wdma的跳写功能，在将最大池化后数据中的每个数据填入到初始化的内存区域的过程中，可以配置不同的地址信息，依次将每个像素点的数据写入到对应的地址中，这里所配置的地址信息即为索引值。

请参照图2，图2为本申请实施例提供的一种反最大池化运算方法步骤流程图，包括：

步骤S1、根据输入的最大池化后数据的尺寸、滤波器尺寸和步进值，获取需要初始化内存区域的大小并将对该内存区域初始化；

步骤S2、根据输入的索引数据，获取最大池化后数据中每一像素点的数据的索引值；以及

步骤S3、将最大池化后数据写入初始化后的内存区域中；其中，写入初始化后的内存区域的方法包括：依次将最大池化后数据中每一像素点的数据根据其索引值写入对应的地址中。

本申请实施例中，计算需要初始化内存区域的大小并对该内存区域进行初始化操作，计算出用于指示数据对应地址的索引值，最后将最大池化后数据中每一像素点的数据写入对应的地址中。步骤S1的硬件实现只需一个能够实现加减乘除运算的硬件模块和实现初始化操作的硬件模块，步骤S2的硬件实现只需一个能够对流式数据进行加减乘除运算的硬件模块，步骤S3的硬件实现只需一个能够提供跳写功能的硬件模块，因此，该反最大池化运算方法逻辑清晰易于实现，可以利用已有的硬件模块来实现，以提高已有硬件利用率，避免单独设计硬件增加硬件面积，缩短了芯片的开发周期。

为描述方便，在以下的一个或多个实施例中，将以图3为例进行说明。如图3所示，图3(a)为未经过最大池化的原始图像，原始图像的尺寸为4×4，滤波器的尺寸为2×2，步进值的尺寸为2×2，图3(b)为原始图像最大池化后数据，原始图像最大池化后数据的尺寸为2×2，图3(c)为索引数据，索引数据才尺寸也为2×2。

步骤S1中，根据输入的最大池化后数据的尺寸、滤波器尺寸和步进值，获取需要初始化内存区域的大小并将对该内存区域初始化，其中，需要初始化内存区域的大小为：((h-1)×s_h+f_h)×((w-1)×s_w+f_w)；其中，h、w分别为最大池化后数据的横轴尺寸和纵轴尺寸，f_h、f_w分别为滤波器的横轴尺寸和纵轴尺寸，s_h、s_w分别为步进值的横轴尺寸和纵轴尺寸。

由于本实施例是反最大池化运算，因此已知的是最大池化后数据input_data和索引数据idx，也就是图3(b)和图3(c)，可以得出h＝w＝2，并根据滤波器尺寸(f_h×f_w)和步进值尺寸(s_h×s_w)，即f_h＝f_w＝2，s_h＝s_w＝2，求得需要初始化内存区域的大小为：((h-1)×s_h+f_h)×((w-1)×s_w+f_w)＝4×4。

步骤S2中，根据输入的索引数据，获取最大池化后数据中每一像素点的数据的索引值，索引值根据以下方式确定：

indices＝offset+idx×idx_byte

其中，indices为索引值，idx为输入的索引数据，offset的值为内存区域的初始地址，idx_byte为存储每个像素点的数据所需的字节数。索引数据idx中每一数据的取值范围如图3(d)所示，图3(d)表示的是对原始图像中像素点的编号，该编号为0-15。

本实施例中，输入的索引数据idx如图3(c)，索引值indices相当于内存中的地址，offset表示的数据的偏移地址，由于初始化了内存区域，offset的值即为这片内存区域的初始地址。idx为输入的索引数据，idx_byte与输入的最大池化后数据的格式有关，即存储最大池化后数据中每个数据所需要的位数，例如最大池化后数据为16-bit形式，即为2-byte，则idx_byte＝2。

步骤S3中，在将最大池化后数据中的每个数据填入到初始化的内存区域的过程中，可以配置不同的地址信息，依次将每个像素点的数据写入到对应的地址中，这里所配置的地址信息即为索引值indices，最终生成的反最大池化结果如图3(e)所示。

图4示出了本申请实施例提供的电子设备的一种可能的结构。参照图4，电子设备包括：处理器41、存储器42和通信接口43，这些组件通过通信总线44和/或其他形式的连接机构(未示出)互连并相互通讯。

其中，存储器42包括一个或多个(图中仅示出一个)，其可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，简称EEPROM)等。处理器41以及其他可能的组件可对存储器42进行访问，读和/或写其中的数据。

处理器41包括一个或多个(图中仅示出一个)，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器41可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(Network Processor，简称NP)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(Neural-network Processing Unit，简称NPU)、图形处理器(Graphics ProcessingUnit，简称GPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器41为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。

通信接口43包括一个或多个(图中仅示出一个)，可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。通信接口43可以包括进行有线和/或无线通信的接口。

在存储器42中可以存储一个或多个计算机程序指令，处理器41可以读取并运行这些计算机程序指令，以实现本申请实施例提供的反最大池化运算方法。

可以理解的，图4所示的结构仅为示意，电子设备还可以包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的结构。图4中所示的各组件可以采用硬件、软件或其组合实现。电子设备可能是实体设备，例如PC机、笔记本电脑、平板电脑、手机、服务器、嵌入式设备等，也可能是虚拟设备，例如虚拟机、虚拟化容器等。并且，电子设备也不限于单台设备，也可以是多台设备的组合或者大量设备构成的集群。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被计算机的处理器读取并运行时，执行本申请实施例提供的反最大池化运算方法。例如，计算机可读存储介质可以实现为图4中电子设备中的存储器42。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种反最大池化运算的装置，其特征在于，包括：

初始化模块，用于根据输入的最大池化后数据的尺寸、滤波器尺寸和步进值，获取需要初始化内存区域的大小并将对该内存区域初始化；

索引值计算模块，用于根据输入的索引数据，获取最大池化后数据中每一像素点的数据的索引值；以及

写入模块，用于将最大池化后数据写入初始化后的内存区域中；其中，所述写入初始化后的内存区域的方法包括：依次将最大池化后数据中每一像素点的数据根据索引值写入对应的地址中；

所述需要初始化内存区域的大小为：((h-1)×s_h+f_h)×((w-1)×s_w+f_w)；

其中，h、w分别为最大池化后数据的横轴尺寸和纵轴尺寸，f_h、f_w分别为滤波器的横轴尺寸和纵轴尺寸，s_h、s_w分别为步进值的横轴尺寸和纵轴尺寸；

所述索引值根据以下方式确定：

indices＝offset+idx×idx_byte

其中，indices为索引值，idx为输入的索引数据，offset为内存区域的初始地址，idx_byte为存储每个像素点的数据所需的字节数。

2.如权利要求1所述的装置，其特征在于，所述索引值计算模块包括芯片中的FMA模块；其中，所述FMA模块用于对流式数据格式的索引数据进行加减乘除逻辑运算，以得到最大池化后数据中每一像素点的数据的索引值。

3.如权利要求1所述的装置，其特征在于，所述写入模块包括用于写入数据的DMA模块；所述用于写入数据的DMA模块提供跳写功能，根据索引值配置不同的地址信息，依次将每个像素点的数据写入对应的地址中。

4.一种反最大池化运算方法，其特征在于，包括：

根据输入的最大池化后数据的尺寸、滤波器尺寸和步进值，获取需要初始化内存区域的大小并将对该内存区域初始化；

根据输入的索引数据，获取最大池化后数据中每一像素点的数据的索引值；以及

将最大池化后数据写入初始化后的内存区域中；其中，所述写入初始化后的内存区域的方法包括：依次将最大池化后数据中每一像素点的数据根据其索引值写入对应的地址中；

所述需要初始化内存区域的大小为：((h-1)×s_h+f_h)×((w-1)×s_w+f_w)；

其中，h、w分别为最大池化后数据的横轴尺寸和纵轴尺寸，f_h、f_w分别为滤波器的横轴尺寸和纵轴尺寸，s_h、s_w分别为步进值的横轴尺寸和纵轴尺寸；

所述索引值根据以下方式确定：

indices＝offset+idx×idx_byte

其中，indices为索引值，idx为输入的索引数据，offset为内存区域的初始地址，idx_byte为存储每个像素点的数据所需的字节数。

5.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求4所述的方法。

6.一种计算机可读存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求4所述的方法。