CN108376283B - 用于神经网络的池化装置和池化方法 - Google Patents

Abstract

本发明提供了一种用于神经网络的池化装置和池化方法。该池化装置包括：池化运算单元，用于对输入的神经元进行池化运算；控制单元，用于基于所述池化运算单元的处理能力将池化范围内的神经元划分为多个批次并控制各批次的神经元依次输入至所述池化运算单元进行池化运算。本发明的池化装置和池化方法通过对池化范围内的神经元进行批次划分，能够提高神经网络的计算效率。

Description

用于神经网络的池化装置和池化方法

技术领域

本发明涉及深度学习技术领域，尤其涉及一种用于神经网络的池化装置和池化方法。

背景技术

近年来，深度学习技术得到了飞速的发展，在解决高级抽象认知问题，例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐和智能机器人等领域得到了广泛应用，成为学术界和工业界的研究热点。

深度神经网络是人工智能领域具有最高发展水平的感知模型之一，该类网络通过建立模型模拟人类大脑的神经连接结构，通过多个变换阶段分层对数据特征进行描述，为图像、视频和音频等大规模数据处理任务带来了突破性进展。深度神经网络模型结构是一种运算模型，由大量节点通过网状互连结构构成，这些节点被称为神经元。每两个节点间连接强度都代表通过该连接信号在两个节点间的加权重，即权重，与人类神经网络中的记忆相对应。

然而，实现深度学习技术依赖于极大的计算量。在训练阶段，需要在海量数据中通过反复迭代计算得到神经网络中的权重数据；在推理阶段，同样需要神经网络在极短的响应时间(通常为毫秒级)内完成对输入数据的运算处理，例如，神经网络中涉及的计算主要包括卷积操作、池化操作等。随着神经网络运算的规模越来越大、数据吞吐量越来越高，运算效率低和运行功耗大成为严重问题，从而限制了神经网络在诸如智能穿戴、智能机器人、自动驾驶以及模式识别等领域的应用。

因此，需要对现有技术进行改进，以提高神经网络的计算效率，扩展神经网络的应用范围。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种用于神经网络的池化装置和池化方法。

根据本发明的第一方面，提供了一种用于神经网络的池化装置。该池化装置包括：池化运算单元，用于对输入的神经元进行池化运算；控制单元，用于基于所述池化运算单元的处理能力将池化范围内的神经元划分为多个批次并控制各批次的神经元依次输入至所述池化运算单元进行池化运算。

在一个实施例中，对于所划分的所述池化范围内的神经元的多个批次，其中，将第一批次的神经元数确定为等于所述池化运算单元的输入接口数；将第一批次的后续批次的神经元数确定为等于所述池化运算单元的输入接口数减1，直到剩余神经元数小于所述池化运算单元的输入接口数减1将所述剩余神经元确定为最后一个批次的神经元。

在一个实施例中，所述池化运算单元还包括求最大值单元、求最小值单元和求平均值单元，所述池化运算单元根据所述控制单元指示的池化模式选择所述求最大值单元或所述求最小值单元或所述求平均值单元。

在一个实施例中，所述池化装置还包括内部缓存单元，所述内部缓存单元用于存储所述池化范围内的神经元并根据所述控制单元指示的批次划分编码将各批次的神经元依次输入至所述池化运算单元。

在一个实施例中，所述池化装置还包括数据迭代传输单元，其用于根据所述控制单元指示的迭代次数编码决定将所述池化运算单元的运算结果回传至所述池化运算单元参与下一批次的池化操作或者进行输出。

根据本发明的第二方面，提供了一种池化方法，该方法包括以下步骤：

步骤1，用于基于所述池化运算单元的处理能力将池化范围内的神经元划分为多个批次；

步骤2，并对各批次的神经元依次进行池化运算。

在一个实施例中，步骤1包括以下子步骤：

步骤11，第一批次的神经元数确定为等于所述池化运算单元的输入接口数；

步骤12，将第一批次的后续批次的神经元数确定为等于所述池化运算单元的输入接口数减1，直到剩余神经元数小于所述池化运算单元的输入接口数减1；

步骤13，将所述剩余神经元确定为最后一个批次的神经元。

在一个实施例中，步骤2包括以下子步骤：

步骤21，对于所划分的所述池化范围内的神经元的多个批次，将第一批次的神经元加载至所述池化运算单元进行池化运算；

步骤22，依次将第一批次的后续各批次的神经元加载至所述池化运算单元并将当前处理批次的前一批次神经元的运算结果回传至所述池化运算单元，直到完成所述池化范围内的所有神经元的池化处理。

与现有技术相比，本发明的优点在于：通过对不同尺寸池化范围的神经元进行池化操作，提高了神经网络处理的灵活性和计算效率；扩展了取最大值、最小值和取平均值等不同池化方式的兼容性。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1示出了池化处理过程的示意图；

图2示出了根据本发明一个实施例的神经网络池化处理装置的示意图；

图3示出了根据本发明一个实施例的神经网络池化处理方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

典型地，神经网络具有多层拓扑结构，并且每层具有多个特征图层。例如，对于卷积神经网络，其处理数据的过程由卷积层、池化层、归一化层、非线性层和全连接层等多层结构组成，其中，卷积层的操作过程是：将一个K*K大小的二维权重卷积核对输入特征图进行扫描，在扫描过程中权重与特征图内对应的神经元求内积，并将所有内积值求和，然后通过非线性激活函数(如ReLU)处理之后，获得卷积层的输出特征图或称输出神经元并把该输出特征图传递到下一层(例如池化层)。池化层又称下采样层，其具体过程是：将一个P*P大小的二维窗口(即池化域或池化范围)对特征图(例如，由卷积层输出给池化层的特征图)进行扫描，在扫描过程中计算窗口在图层对应神经元的最大值或平均值，得到池化层的输出神经元，参见图1示意的池化运算过程。池化层一方面可以消除部分噪声信息，有利于特征提取，另一方面也可以减少下一层特征神经元的数量，从而减小网络规模。

图2示出了根据本发明一个实施例的用于神经网络的池化装置的示意图。该池化装置210包括控制单元220、内部缓存单元230、池化运算单元240、数据迭代传输单元250，其中，池化运算单元240可采用不同的池化模式(例如，求最大值法、求平均值法、求最小值法等)对输入的神经元进行池化操作，相应地，池化运算单元240可进一步包括针对不同池化模式的特定运算模块，即求最大值单元241、求最小值单元242、求平均值单元243。本领域技术人员可以理解，根据不同的实际需求，池化运算单元240可以被配置为包括求最大值单元241、求最小值单元242、求平均值单元243中的任意一个或多个，或者可以包括其他运算模块。为便于描述池化装置210与外部的交互过程，在图2的实施例中，还示出了外部缓存单元和外部输出缓存单元。

控制单元220分别与内部缓存单元230、池化运算单元240、数据迭代传输单元250相连，用于接收与分析神经网络层的池化参数，以选通池化运算单元240的特定运算模块。控制单元220还生成池化神经元的批量划分方案，并将该方案对应编码传输至内部缓存单元230，以实现输入神经元的批量划分。控制单元220通过分析批量数据的批次数，生成相应的迭代编码传输至数据迭代传输单元250，以保证池化操作的准确性及池化结果的输出。

内部缓存单元230用于将从池化装置210的外部缓存传递来的神经元(该神经元为单次池化范围内的所有神经元)进行缓存。此外，内部缓存单元230还接收控制单元220传递来的神经元批量划分编码，将缓存的神经元根据批量划分编码进行划分，并将神经元按照批量顺序传递至池化运算单元240。

池化运算单元240用于执行池化操作的运算部分，其包括多个用于进行数据接收的输入接口，可接收内部缓存单元230的各批量的神经元数据，还可接收数据迭代传输单元250回传的中间结果，以参与各批量神经元的池化操作。

数据迭代传输单元250负责对池化运算单元240的计算结果做进一步处理，其接收池化运算单元240的池化运算结果，根据控制单元220传输的迭代次数编码决定将计算结果回传至池化运算单元240或输出，例如，输出至外部输出缓存单元。

为了进一步理解图2的实施例中各单元的功能，下面将介绍神经元的批量划分方法以及池化运算单元240的工作过程。

1)神经元的批次划分策略。

在本文中，神经元的批量划分是指将需要进行池化处理的神经元划分为多个批次，并将各批次的神经元依次输入到池化运算单元进行池化操作。批次划分的策略可基于池化范围、池化运算单元的处理能力(例如，包括池化单元的输入接口数、计算能力等)、待运算的神经元数据量以及对处理速度的需求等一个或多个因素。

在一个实施例中，根据池化运算单元的输入接口数量和池化尺寸进行神经元的批量划分。

例如，第一批次包含的神经元数等于池化运算单元的输入接口数，而后续批次的神经元数等于池化运算单元的输入接口数减1。具体地，当池化运算单元的输入接口数为4时，表示该池化运算单元每次可执行4个神经元的池化任务，当池化尺寸/池化范围为2x2时(即一个池化范围内包括4个神经元)，则将该池化范围的神经元分为一个批次神经元，池化运算单元中只需一次池化操作即可处理一个池化范围内的神经元；当池化尺寸为3x3时，其池化范围内的神经元可分为3个批次的神经元，第一批次至第三批次包含的神经元数量分别4、3、2，则该3x3的池化任务在池化运算单元中需要3次池化操作即可完成；类似地，当池化尺寸为4x4时，池化范围内的神经元可分为5个批次的神经元，第一批次至第五批次包含的神经元数量分别为4、3、3、3、3，则该4x4的池化任务在池化运算单元中需要5次池化操作。通过这种方式可对任意池化尺寸的神经元进行划分，例如，池化尺寸为2x2、3x3、4x4或5x5等，并且这种划分策略能够在充分利用池化运算单元的处理能力的基础上，提高池化运算的效率。

又如，将一个池化范围内的神经元首先划分为包含神经元数量相等的多个批次，直到剩余的神经元数小于池化运算单元的输入接口，并将剩余神经元数作为最后一个批次。具体地，当池化尺寸为3x3时，将该池化范围内的神经元可分为3个批次的神经元，包含的神经元数分别为3、3、3。

需说明的是，当每个批次的神经元数量过少导致的池化运算单元的输入接口留空时，针对不同运算模式对留空的输入接口做不同数据填充处理，以保证池化运算结果的正确性。

2)各批次神经元的池化过程。

对于一个池化范围内的神经元，以所划分的批次为单位依次输入到池化运算单元；当该池化范围内的神经元未完全池化时，当前批次的池化结果需迭代传递给池化运算单元作为下一批次池化处理的输入。因此，当采用的神经元批次划分方式为第一批次包含的神经元数等于池化运算单元的输入接口数，而后续批次的神经元数等于池化运算单元的输入接口数减1时，能够充分利用池化运算单元的资源，提高池化运算效率。

3)对池化过程的控制。

在池化过程中，控制单元通过批次划分编码、池化模式信号以及迭代次数编码等来控制池化运算单元的运算过程。

批次划分编码用于指示将一个池化范围内的神经元划分为多少批次以及每个批次包含的神经元个数，例如，对于池化尺寸为4x4时，划分为5个批次，各批次的神经元数分别是4、3、3、3、3，则批次划分编码可表示(4、3、3、3、3)，内部缓存单元根据该编码即可依次向池化运算单元输入神经元，即第一批次输入4个神经元，第二至第五批次依次均输入3个神经元。

池化模式信号用于控制池化运算单元所选择的运算模块，例如，当编码为01、10、11时，分别表示采用最大值法、最小值法和平均值法进行池化处理。

迭代次数编码用于指示对一个池化范围的神经元需要进行迭代的次数，也即划分的批次数，例如，当划分为5个批次时，迭代次数编码即指示数据迭代传输单元对当前池化范围内的神经元总共进行5次迭代。

图3示出了根据本发明一个实施例的神经网络池化方法的流程图。结合图2的池化装置，以对一个池化范围内的神经元进行池化为例说明本发明的池化方法，具体包括以下步骤：

步骤S310，根据池化模式控制选通池化运算单元中相应的运算模块。

池化模式指明对一个池化范围内的神经元所进行的池化运算方式，池化模式信号是与池化运算方式相对应的编码或指令。池化模式和其对应的池化模式信号可由控制单元预先确定，池化运算单元根据接收到的池化模式信号，选通对应的求最大值单元、求最小值单元或求平均值单元。

步骤S320，确定池化范围内神经元的批次划分策略。

控制单元分析池化范围等池化参数，将一个池化范围内的神经元根据池化范围和池化运算单元的处理能力(例如，池化运算单元的输入接口数等)划分为多个批次，同时控制单元对各个批次的神经元进行编码。

步骤S330，将池化范围内的神经元进行缓存。

池化装置的内部缓存单元接收一个池化范围内的神经元并根据所划分的批次进行缓存。

步骤S340，依据批次划分策略控制将缓存的各批次神经元依次输入到池化运算单元进行池化运算。

当开始执行池化处理时，控制单元根据批次划分策略控制将内部缓存单元中各批次神经元依次输入到池化运算单元。池化运算单元根据池化模式信号执行相应的池化计算。

当一个池化范围内的神经元未完全池化时，将该池化范围内当前处理批次的池化结果回传至池化运算单元，参与下一批次的池化计算。

步骤S350，输出池化结果。

当内部缓存单元中存储的神经元(即一个池化范围内神经元)均完成池化处理时，将最终的池化结果输出给外部输出缓存单元中，以备神经网络的其他处理单元读取。

上述步骤S310-S350描述了对一个池化范围内的神经元进行池化处理的过程，通过重复执行上述过程，能够完成神经网络中指定层的池化任务。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (7)

1.一种用于神经网络的池化装置，包括：

池化运算单元，用于对输入的神经元进行池化运算，所述池化运算单元包括求最大值单元、求最小值单元和求平均值单元，所述池化运算单元根据控制单元指示的池化模式选择所述求最大值单元或所述求最小值单元或所述求平均值单元；

控制单元，用于基于所述池化运算单元的处理能力将池化范围内的神经元划分为多个批次并控制各批次的神经元依次输入至所述池化运算单元进行池化运算，所述控制单元通过批次划分编码、池化模式信号以及迭代次数编码来控制池化运算单元的运算过程，所述批次划分编码用于指示将一个池化范围内的神经元划分为多少批次以及每个批次包含的神经元个数，所述池化模式信号用于控制所述池化运算单元所选择的运算模块，所述迭代次数编码用于指示对一个池化范围的神经元需要进行迭代的次数，也即划分的批次数；

内部缓存单元，用于存储所述池化范围内的神经元并根据所述控制单元指示的所述批次划分编码将各批次的神经元依次输入至所述池化运算单元；以及

数据迭代传输单元，用于根据所述控制单元指示的所述迭代次数编码决定将所述池化运算单元的运算结果回传至所述池化运算单元参与下一批次的池化操作或者进行输出。

2.根据权利要求1所述的池化装置，其特征在于，对于所划分的所述池化范围内的神经元的多个批次，其中：

将第一批次的神经元数确定为等于所述池化运算单元的输入接口数；

将第一批次的后续批次的神经元数确定为等于所述池化运算单元的输入接口数减1，直到剩余神经元数小于所述池化运算单元的输入接口数减1；

将所述剩余神经元确定为最后一个批次的神经元。

3.一种基于权利要求1至2中任一项所述池化装置的池化方法，包括以下步骤：

步骤1，用于基于所述池化运算单元的处理能力将池化范围内的神经元划分为多个批次；

步骤2，并对各批次的神经元依次进行池化运算。

4.根据权利要求3所述的池化方法，其中，步骤1包括以下子步骤：

步骤11，第一批次的神经元数确定为等于所述池化运算单元的输入接口数；

步骤12，将第一批次的后续批次的神经元数确定为等于所述池化运算单元的输入接口数减1，直到剩余神经元数小于所述池化运算单元的输入接口数减1；

步骤13，将所述剩余神经元确定为最后一个批次的神经元。

5.根据权利要求3或4所述的池化方法，其中，步骤2包括以下子步骤：

步骤21，对于所划分的所述池化范围内的神经元的多个批次，将第一批次的神经元加载至所述池化运算单元进行池化运算；

步骤22，依次将第一批次的后续各批次的神经元加载至所述池化运算单元并将当前处理批次的前一批次神经元的运算结果回传至所述池化运算单元，直到完成所述池化范围内的所有神经元的池化处理。

6.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求3至5中任一项所述方法的步骤。

7.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求3至5中任一项所述的方法的步骤。

Images