CN111291771B - 对池化层特征优化的方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种对池化层特征优化的方法及装置，该方法及装置应用于卷积神经网络中的池化层且用于对卷积神经网络中卷积层输出的特征进行处理，其具体为：获取卷积层输出的多维矩阵，计算该多维矩阵中每一个特征值在多维矩阵中的存在概率，根据该存在概率计算每个特征值包含的信息量，根据该信息量计算每个特征值的信息熵，进而将每个特征值与对应的信息熵进行融合得到目的特征值，该多个目的特征值组成目的多维矩阵。该目的多维矩阵将作为卷积神经网络后续网络层的输入，由于该目的多维矩阵保留了各个特征值，且对各个特征值进行了信息量和信息熵的计算，将使得后续计算或分类更加准确。

Description

对池化层特征优化的方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种对池化层特征优化的方法及装置。

背景技术

近年来，深度学习技术已经在图像处理、自然语言处理等方面取得了突出的成绩，并在多个领域的工程应用上取得了较大突破。

然而再使用CNN训练网络时，在对卷积层输出的特征图进行处理时，往往会使用pooling层对特征图进行采样操作。在通过卷积之后得到的特征，我们往往希望去利用这些特征去做分类。理论上讲，我们可以用所提取到的特征去做训练分类器，例如softmax分类器，但这样做往往会陷入计算量的挑战。例如，对于一个224*224像素的图像，假设我们已经学习得到了400个定义在8x8输入的特征，每一个特征和图像卷积都会得到一个(400-8+1)*(400-8+1)＝154449维的卷积特征，由于有400个特征，所以每个样例都会得到一个393^2*400＝61779600维的卷积特征向量，学习一个超过6千万特征的分类器十分不便，并且容易出现过拟合。

为了解决这个问题，由于卷积之后的特征是因为图像具有一种平移不变性，为了描述大的图像，对不同位置的特征进行聚合，而这种聚合的操作就是池化，而计算方法一般常用的有mean-pooling(平均池化),max-pooling(最大池化)和Stochastic-pooling(随机池化)。

其中，最常用的池化手段为最大池化，但是采取最大池化方式具有多个弊端，首先卷积层其实是保留了特征的位置信息的，但是通过取唯一的最大值，现在在Pooling层只知道这个最大值是多少，但是其出现位置信息并没有保留。其次，因为max-pooling只保留一个最大值，所以即使某个特征出现多次，现在也只能看到一次，也就是说同一特征的强度信息丢失了。最后，由于每次取一个最大值，忽略了其他特征值在进行物体特征识别时的作用，易产生误差。

发明内容

本发明的目的在于提供一种对池化层特征优化的方法，以实现对卷积后的特征进行聚合，结合了不同特征之间的聚合能力，也充分使用了同一特征的强度信息，使其拥有更充分的表征能力。

本发明的另一目的在于提供一种对池化层特征优化的装置，以实现对卷积后的特征进行聚合，结合了不同特征之间的聚合能力，也充分使用了同一特征的强度信息，使其拥有更充分的表征能力。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种对池化层特征优化的方法，所述方法应用于卷积神经网络中的池化层且用于对卷积神经网络中卷积层输出的特征进行处理，所述方法包括：获取所述卷积层输出的多维矩阵；计算所述多维矩阵中每一个特征值在所述多维矩阵中的存在概率；根据所述存在概率计算每个特征值包含的信息量；根据所述信息量计算每个特征值的信息熵；将每个特征值与对应的信息熵进行融合得到目的特征值，多个所述目的特征值组成目的多维矩阵。

第二方面，本发明实施例还提供了一种对池化层特征优化的装置，所述装置应用于卷积神经网络中的池化层且用于对卷积神经网络中卷积层输出的特征进行处理，所述装置包括：获取模块，用于获取所述卷积层输出的多维矩阵；第一计算模块，用于计算所述多维矩阵中每一个特征值在所述多维矩阵中的存在概率；第二计算模块，用于根据所述存在概率计算每个特征值包含的信息量；第三计算模块，用于根据所述信息量计算每个特征值的信息熵；融合模块，用于将每个特征值与对应的信息熵进行融合得到目的特征值，多个目的特征值组成目的多维矩阵。

本发明实施例提供的一种对池化层特征优化的方法及装置，该方法及装置应用于卷积神经网络中的池化层且用于对卷积神经网络中卷积层输出的特征进行处理，其具体为：获取卷积层输出的多维矩阵，计算该多维矩阵中每一个特征值在多维矩阵中的存在概率，根据该存在概率计算每个特征值包含的信息量，根据该信息量计算每个特征值的信息熵，进而将每个特征值与对应的信息熵进行融合得到目的特征值，该多个目的特征值组成目的多维矩阵。该目的多维矩阵将作为卷积神经网络后续网络层的输入，由于该目的多维矩阵保留了各个特征值，且对各个特征值进行了信息量和信息熵的计算，将使得后续计算或分类更加准确。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种对池化层特征优化的方法的流程示意图。

图2示出了本发明实施例提供的一种对池化层特征优化的装置的功能模块示意图。

图示：100-对池化层特征优化的装置；110-获取模块；120-第一计算模块；130-第二计算模块；140-第三计算模块；150-融合模块；160-输入模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

通常会使用卷积神经网络进行图像识别，该卷积神经网络通常包括三部分，第一部分是输入层，用于输入图像，由于图像是由多个像素点构成，故输入层对图像录入时，实际录入的是图像像素点形成的多维矩阵；第二部分是多个卷积层和池化层组成，其用于对该多维矩阵进行卷积和池化，卷积层对多维矩阵进行卷积后将输出一个结果矩阵，进而由池化层对该结果矩阵进行进一步池化采样，目前通常采用的池化手段包括平均池化、最大池化以及随机池化等；第三部分是一个全连结的多层感知机分类器，该分类器将会对经过池化选样后的样本进行分类训练，识别图像特征，形成分类结果，当后续需要对新的图像进行识别时，可直接通过该训练好的分类器直接对图像进行识别。

由此可见，卷积神经网络这一数据模型中对分类器进行训练是能够精确识别图像的重要步骤，该分类器进行训练的样本是池化的结果，由此，通过池化手段对样本进行处理更是能否精确识别图像的关键。在目前技术手段中，通常采用最大池化的手段对图像矩阵进行池化处理，其实现方式在于，依次选取每个相同大小的方块区域内的最大值形成池化结果，此种方式一方面只能保留一个方块区域内的最大值，以至于不能看到相同特征出现次数，导致特征强度信息丢失以及位置信息丢失，另一方面，忽略了其他特征值在进行物体识别时的作用，导致容易产生误差。因此，本发明实施例提供一种对池化层特征优化方法，通过采用新的技术手段对卷积层的卷积结果进行处理，使得保留所有特征信息、位置信息以及强度信息，以为卷积神经网络中后续网络层进行数据处理提供较好的数据基础，保证最后图像识别结果的准确性。

请参照图1，是本发明实施例提供的一种对池化层特征优化的方法的流程示意图，该方法应用于卷积神经网络中的池化层且用于对卷积神经网络中卷积层输出的特征进行处理，该方法包括：

步骤S110，获取所述卷积层输出的多维矩阵。

亦即是说，输入层录入由图像上的各个像素点形成的多维矩阵后，将由卷积层对该多维矩阵进行卷积以得到一个卷积后的多维矩阵。

步骤S120，计算所述多维矩阵中每一个特征值在所述多维矩阵中的存在概率。

即是说，若卷积后的多维矩阵是一个2*2的多维矩阵，且对该多维矩阵内的每一个特征值分别标记为x1,x2,x3,x4，则对任意一个特征值在该矩阵中的存在概率的确定方式为：

由此，若卷积之后得到的多维矩阵是一个n*n的多维矩阵，则该多维矩阵中的每一个特征值在多维矩阵中的存在概率的计算方式为：

其中，x_i为所述多维矩阵中的特征值，P(x_i)为每个特征值在多维矩阵中的存在概率。

步骤S130，根据所述存在概率计算每个特征值包含的信息量。

进而，根据每个特征值的存在概率计算每个特征值包含的信息量，该信息量指每个特征值包含的信息多少，该根据存在概率计算每个特征值包含的信息量的计算方式为：

其中，P(x_i)为每个特征值在多维矩阵中的存在概率，I(x)为每个特征值包含的信息量。

步骤S140，根据所述信息量计算每个特征值的信息熵。

该信息熵是信息论中用于度量信息量的一个概念，一个系统越是有序，信息熵就越低，反之，一个系统越是混乱，信息熵就越高，进而信息熵也是一个系统有序化程度的一个度量。该每个特征值的信息熵反应了每个特征值包含信息的离散程度，该信息熵越高表明该特征值包含的信息量越多，越混乱，该信息熵越低表明该特征值包含的信息较少且有序，进而可从信息熵越高的特征值中提取更多有效信息。具体地，该根据信息量计算每个特征值的信息熵的计算方式为：

其中，P(xi)为每个特征值在多维矩阵中的存在概率，H(x)为每个特征值的信息熵。

步骤S150，将每个特征值与对应的信息熵进行融合得到目的特征值，多个所述目的特征值组成目的多维矩阵。

进而，最后将每个特征值与其对应的信息熵进行融合得到目的特征值，该多个目的特征值组成目的多维矩阵。其特征值与信息熵融合的具体方式为：

Feature(x)＝H(x)*x_i

其中，H(x)为每个特征值的信息熵，x_i为所述多维矩阵中的特征值，Feature(x)为目的特征值。

由此可见，该目的多维矩阵保留了所有特征值，保留了各个特征值的位置信息，同时兼顾了各个特征值在进行物体特征识别时的作用，且每个特征值还融合了信息熵信息，客观反应了每个特征值包含的信息量以及信息离散程度，以为后续的计算提供了良好的参考。其相比最大池化技术保留了更多信息，该技术运算效率高，不会增加新的参数，提取的网络特征也更加充分。

步骤S160，将所述目的多维矩阵输入至所述卷积神经网络中的后续网络层进行处理。

即是说，将得到的目的多维矩阵输入至卷积神经网络中的后续网络层进行处理，由于该目的多维矩阵中结合了不同特征值之间的聚合能力，也充分使用了同一特征值的强度信息，使其拥有了更充分的表征能力，进而使得后续网络层的运算更加精准。容易理解的，卷积神经网络一般包含多个卷积层和池化层，因此，本发明实施例提供的方案可适用于所有池化层，以对卷积层输出的数据进行处理，在完成所有卷积层和池化层的循环处理后再发送至后续的网络进一步处理。

由此可见，本发明实施例提供的一种对池化层特征优化的方法，该技术能对卷积之后的特征值进行聚合操作，利用信息熵的方式对特征值进行融合提取，计算出融合后的特征，并把融合后的特征交给后续网络层处理，从而提升模型性能。其优点是充分考虑了每个位置上的特征信息，以及对不同特征的强度信息的融合，以提高了图像识别的精确度。

请参照图2，是本发明实施例提供的一种对池化层特征优化的装置100的功能模块示意图，该装置包括获取模块110、第一计算模块120、第二计算模块130、第三计算模块140、融合模块150以及输入模块160。

获取模块110，用于获取所述卷积层输出的多维矩阵。

在本发明实施例中，步骤S110可以由获取模块110执行。

第一计算模块120，用于计算所述多维矩阵中每一个特征值在所述多维矩阵中的存在概率。

在本发明实施例中，步骤S120可以由第一计算模块120执行。

第二计算模块130，用于根据所述存在概率计算每个特征值包含的信息量。

在本发明实施例中，步骤S130可以由第二计算模块130执行。

第三计算模块140，用于根据所述信息量计算每个特征值的信息熵。

在本发明实施例中，步骤S140可以由第三计算模块140执行。

融合模块150，用于将每个特征值与对应的信息熵进行融合得到目的特征值，多个目的特征值组成目的多维矩阵。

在本发明实施例中，步骤S150可以由融合模块150执行。

输入模块160，用于将所述目的多维矩阵输入至所述卷积神经网络中的后续网络层进行处理。

在本发明实施例中，步骤S160可以由输入模块160执行。

由于在对池化层特征优化的方法部分已经详细描述，在此不再赘述。

综上所述，本发明实施例提供的一种对池化层特征优化的方法及装置，该方法及装置应用于卷积神经网络中的池化层且用于对卷积神经网络中卷积层输出的特征进行处理，其具体为：获取卷积层输出的多维矩阵，计算该多维矩阵中每一个特征值在多维矩阵中的存在概率，根据该存在概率计算每个特征值包含的信息量，根据该信息量计算每个特征值的信息熵，进而将每个特征值与对应的信息熵进行融合得到目的特征值，该多个目的特征值组成目的多维矩阵。该目的多维矩阵将作为卷积神经网络后续网络层的输入，由于该目的多维矩阵保留了各个特征值，且对各个特征值进行了信息量和信息熵的计算，将使得后续计算或分类更加准确。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种对池化层特征优化的方法，其特征在于，所述方法应用于卷积神经网络中的池化层且用于对卷积神经网络中卷积层输出的特征进行处理，所述方法包括：

获取所述卷积层输出的多维矩阵；

计算所述多维矩阵中每一个特征值在所述多维矩阵中的存在概率；

根据所述存在概率计算每个特征值包含的信息量；

根据所述信息量计算每个特征值的信息熵；

将每个特征值与对应的信息熵进行融合得到目的特征值，多个所述目的特征值组成目的多维矩阵，其中，所述目的多维矩阵包括每个所述特征值对应的所述目的特征值，每个所述目的特征值在所述目的多维矩阵中的位置与每个所述目的特征值对应的所述特征值在所述多维矩阵中的位置相同；

所述将每个特征值与对应的信息熵进行融合得到目的特征值的计算方式为：

Feature(x)＝H(x)*x_i

其中，H(x)为每个特征值的信息熵，x_i为所述多维矩阵中的特征值，Feature(x)为目的特征值。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目的多维矩阵输入至所述卷积神经网络中的后续网络层进行处理。

3.如权利要求1所述的方法，其特征在于，所述计算所述多维矩阵中每一个特征值在所述多维矩阵中的存在概率的计算方式为：

其中，x_i为所述多维矩阵中的特征值，P(x_i)为每个特征值在多维矩阵中的存在概率。

4.如权利要求1所述的方法，其特征在于，所述根据所述存在概率计算每个特征值包含的信息量的计算方式为：

其中，P(x_i)为每个特征值在多维矩阵中的存在概率，I(x)为每个特征值包含的信息量。

5.如权利要求1所述的方法，其特征在于，所述根据所述信息量计算每个特征值的信息熵的计算方式为：

其中，P(x_i)为每个特征值在多维矩阵中的存在概率，H(x)为每个特征值的信息熵。

6.一种对池化层特征优化的装置，其特征在于，所述装置应用于卷积神经网络中的池化层且用于对卷积神经网络中卷积层输出的特征进行处理，所述装置包括：

获取模块，用于获取所述卷积层输出的多维矩阵；

第一计算模块，用于计算所述多维矩阵中每一个特征值在所述多维矩阵中的存在概率；

第二计算模块，用于根据所述存在概率计算每个特征值包含的信息量；

第三计算模块，用于根据所述信息量计算每个特征值的信息熵；

融合模块，用于将每个特征值与对应的信息熵进行融合得到目的特征值，多个目的特征值组成目的多维矩阵，其中，所述目的多维矩阵包括每个所述特征值对应的所述目的特征值，每个所述目的特征值在所述目的多维矩阵中的位置与每个所述目的特征值对应的所述特征值在所述多维矩阵中的位置相同；所述将每个特征值与对应的信息熵进行融合得到目的特征值的计算方式为：

Feature(x)＝H(x)*x_i

其中，H(x)为每个特征值的信息熵，x_i为所述多维矩阵中的特征值，Feature(x)为目的特征值。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

输入模块，用于将所述目的多维矩阵输入至所述卷积神经网络中的后续网络层进行处理。

8.如权利要求6所述的装置，其特征在于，所述第一计算模块具体的计算方式为：

其中，x_i为所述多维矩阵中的特征值，P(x_i)为每个特征值在多维矩阵中的存在概率。

9.如权利要求6所述的装置，其特征在于，所述第二计算模块具体的计算方式为：

其中，P(x_i)为每个特征值在多维矩阵中的存在概率，I(x)为每个特征值包含的信息量。