CN111461289B - 池化处理方法、系统及存储介质 - Google Patents

Abstract

本发明涉及信息处理领域，特别涉及一种池化处理方法、系统及存储介质。池化处理方法，包括：通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图；根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果。采用本发明的实施例，能够保留待处理图像本身的特征进行动态池化，以提升池化处理性能。

Description

池化处理方法、系统及存储介质

技术领域

本发明涉及信息处理领域，特别涉及一种池化处理方法、系统及存储介质。

背景技术

在图像分类等智能学习的重要领域中，卷积神经网络模型由于其高性能和成熟度得到十分广泛的应用。以图像分类为例，对输入图像训练，通过反向传播不断更新模型的参数，最终得到损失最小的卷积神经网络模型用于图像分类。传统卷积神经网络模型包括不同功能的卷积层、池化层和全连接层等，其中，池化层用于接收卷积层的输出并进行池化处理，以实现特征降维、消除噪声、扩大感知野、降低过拟合等效果。然而发明人发现相关技术中存在如下问题：常用于池化层的若干种计算方法，基本是无差别地对输入的信息进行简单数学计算，并不适用于不同类型的输入，影响对不同类型输入的训练效果，也会造成细节信息的丢失。

发明内容

本发明实施例的目的在于提供一种池化处理方法、系统及存储介质，能够根据待处理图像本身进行动态池化，以提升池化处理性能。

为解决上述技术问题，本发明的实施例提供了一种池化处理方法，包括：通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，其中，所述预设的权重计算模型经过预设图像的特征图训练得到，所述池化权重图的尺寸和所述特征图尺寸大小一致；根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果。

本发明的实施例还提供了一种池化处理系统，包括：池化权重输出模块，用于通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，其中，所述预设的权重计算模型经过预设图像的特征图训练得到，所述池化权重图的尺寸和所述特征图尺寸大小一致；池化结果输出模块，用于根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果。

本发明的实施例还提供了一种池化处理系统，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的池化处理方法。

本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的池化处理方法。

本发明实施例相对于现有技术而言，通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，其中，所述预设的权重计算模型经过预设图像的特征图训练得到，所述池化权重图的尺寸和所述特征图尺寸大小一致；根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果；可以理解的是，本发明实施例中提供的权重计算模型，是经过特征图训练得到的，因此通过权重计算模型，能够基于待处理图像本身的特征，来动态地获取到有针对性的池化权重，用于表示待处理图像本身的特征之间的相关性，且相对于人工预设的权重其可参考价值更高；根据获取到的权重来对待处理图像进行池化，在池化处理过程中有效保障了待处理图像的特征的完整性；基于待处理图像本身来动态获取到的权重更具备对于不同类型输入的适应性，有效提升了池化处理性能。

另外，所述特征图对应的池化权重图包括与所述特征图中每个所述特征值对应的权重值，所述通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，包括：通过预设滑动窗口对所述特征图进行采样，获取每个所述窗口中的特征值；通过所述权重计算模型，获取每个所述窗口中的激活值；对每个所述窗口中的激活值进行归一化处理，将归一化后的所述激活值作为所述特征值对应的权重值；可以理解的是，归一化后的激活值均处于(0,1)之间，可以用于表示激活值之间的分布概率，适合用来对各激活值的表现性进行评估，也就可以理解为权重。

另外，所述根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果，包括：通过预设滑动窗口对所述特征图和所述池化权重图进行采样，获取每个所述窗口中的特征值和权重值；根据每个所述窗口中的特征值和权重值，计算每个所述窗口的池化结果；所述待处理图像的池化结果包括每个所述窗口的池化结果。

另外，通过以下公式，对每个所述窗口中的激活值进行归一化处理：

其中，所述w_i,表示归一化后的所述激活值，所述表示所述窗口中的激活值，所述S表示所述窗口的尺寸。上述提供了一种使用softmax函数进行归一化处理的方式。

另外，通过以下公式，计算每个所述窗口的池化结果：

其中，所述y_i,表示每个所述窗口的池化结果，所述w_i,表示所述窗口中的权重值，所述x_i,表示所述窗口中的特征值，所述S表示所述窗口的尺寸。也就是说，每个窗口的池化结果是将窗口对应的特征值和权重值加权求和得到的，从而在保障了待处理图像的特征的完整性的同时区分了特征值之间的分布差异。

另外，所述待处理图像的特征图包括若干个通道的响应图，所述通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，包括：通过预设的权重计算模型，获取各所述通道的响应图对应的池化权重图；合并各所述通道的响应图对应的池化权重图，作为所述待处理图像的特征图对应的池化权重图。

另外，所述通过预设滑动窗口进行采样，包括：通过所述预设滑动窗口和与所述预设滑动窗口的尺寸相同的步幅进行采样。当步幅与预设滑动窗口的尺寸相同时，预设滑动窗口在每一次采样时都与上一次采样不存在重叠区域，也就是避免了因存在重叠区域而造成的冗余计算，有效控制了本实施例中池化处理方法的计算量。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是根据本发明第一实施例中的池化处理方法的流程图；

图2是根据本发明第一实施例中的池化处理示意图；

图3是根据本发明第一实施例中的一种具体的池化处理方法的流程图；

图4是根据本发明第一实施例中的权重计算模型的结构示意图；

图5是根据本发明第二实施例中的池化处理系统的结构方框图；

图6是根据本发明第三实施例中的池化处理系统的结构方框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施例涉及一种池化处理方法，其具体流程如图1所示，包括：

步骤101，通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图。

步骤102，根据特征图和池化权重图，获取待处理图像的池化结果。

本实施例中的池化处理方法可以理解为卷积神经网络模型中的池化层进行信息处理的方法，在进行图像分类时，在经过卷积层对待处理图像进行处理后，输出得到待处理图像的特征图，作为本实施例中的池化处理方法的输入。下面对本实施例的池化处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的细节，并非实施本方案的必须。

在步骤101中，将待处理图像的特征图输入预设的权重计算模型，得到模型输出的池化权重图，作为特征图对应的池化权重图，池化权重图的尺寸和特征图的尺寸大小一致。在实例中，如图2所示的池化处理示意图，令待处理图像的特征图的尺寸为H×W，输入预设的权重计算模型后，得到模型输出的池化权重图，其尺寸同样为H×W。

本实施例中提供了一种通过预设的权重计算模型获取池化权重图的具体方式，可参见如图3所示的一种具体的池化处理方法中的步骤1011至步骤1013。

步骤1011，通过预设滑动窗口对特征图进行采样，获取每个窗口中的特征值；

具体地说，在实例中，预设滑动窗口的尺寸为S×S，图2中的特征图中的黑色粗实线方框表示预设滑动窗口；可以看到预设滑动窗口采样得到4个特征值x_0,,x_0,,x_1,0,x_1,。

步骤1012，通过权重计算模型，获取每个窗口中的激活值；

具体地说，权重计算模型可以是经过预设图像的特征图训练得到的卷积神经网络模型，包括卷积层、批标准化层、激活层和全连接层，如图4所示；可以理解的是，在训练卷积神经网络模型时，训练样本是已经分好类别的预设图像的特征图以及特征图对应的池化权重图；在使用训练好的权重计算模型时，将待处理图像的特征图输入权重计算模型，得到模型的输出为特征图对应的池化权重图。根据上述的实例，如图2所示，特征图是由H×W个特征值x_i,组成的，模型输出的也就是与H×W个特征值一一对应的激活值

步骤1013，对每个窗口中的激活值进行归一化处理，将归一化后的激活值作为特征值对应的权重值；可以理解的是，归一化后的激活值均处于(0,1)之间，可以用于表示激活值之间的分布概率，适合用来对各激活值的表现性进行评估；因此将归一化后的激活值作为特征值对应的权重值；特征图对应的池化权重图包括每个特征值对应的权重值。

具体地说，在实例中，图2中的特征图中的黑色粗实线方框表示预设滑动窗口，采样得到窗口中的4个特征值x_0,,x_0,,x_1,0,x_1,；计算得到x_0,,x_0,,x_1,,x_1,分别对应的激活值对4个激活值分别进行归一化处理，将归一化后的激活值作为特征值对应的权重值w_0,,w_0,,w_1,,w_1,，即池化权重图包括每个特征值对应的权重值；如图2所示，预设滑动窗口采样的上述4个特征值对应的权重值，可参见池化权重图中的黑色粗实线方框内的4个权重值。

本步骤中，提供了对激活值进行归一化处理的具体公式如下：

需要说明的是，由于在一个窗口中，i和j的下界值均是从0开始，因此i和j的上界值为(S-1)，i和j的取值能够保证取到窗口中对应的所有值，i和j的取值并不等同于特征图中特征值的实际下标。

更具体地说，通过预设滑动窗口对特征图进行采样时，采样的步幅的尺寸与预设滑动窗口的尺寸相同；在实例中，预设滑动窗口的尺寸为2×2，步幅也为2，从而每一次窗口采样的区域都与上一次窗口采样的区域不重叠，也就是避免了因存在重叠区域而导致重复对激活值进行归一化计算处理的问题，有效控制了本实施例中池化处理方法的计算量。

在步骤102中，根据特征图和池化权重图，获取待处理图像的池化结果。本实施例中提供了一种获取池化结果的具体方式，可参见如图3所示的一种具体的池化处理方法中的步骤1021至步骤1022。

步骤1021，通过预设滑动窗口对特征图和池化权重图进行采样，获取每个窗口中的特征值和权重值。

具体地说，特征图和对应的池化权重图的尺寸是相同的，通过同一个预设滑动窗口对特征图和池化权重图同步进行采样，采样得到的特征值和权重值也就是对应的。在实例中，如图2中的特征图中的黑色粗实线方框表示预设滑动窗口，采样得到4个特征值x_0,,x_0,,x_1,0,x_1,，同样在图2中的池化权重图中的黑色粗实线方框表示预设滑动窗口，采样得到4个权重值w_0,,w_0,,w_1,,w_1,。

步骤1022，根据每个窗口中的特征值和权重值，计算每个窗口的池化结果；本步骤中，提供了计算每个窗口的池化结果的具体公式如下：

其中，y_i,表示每个窗口的池化结果，x_i,表示窗口中的特征值，w_i,表示窗口中的权重值，S表示窗口的尺寸；以图2中的特征图和池化权重图为例，黑色粗实现方框内的池化结果为：

y_0,0＝f(x_0,0x_0,1,x_1,0,x_1,1)＝w_0,0x_0,0+w_0,1x_0,1+w_1,0x_1,0+w_1,1x_1,1

也就是说，每个窗口的池化结果是将窗口对应的特征值和权重值加权求和得到的，待处理图像的池化结果也就是每个窗口的池化结果合并的结果，这样的计算方式从而在保障了待处理图像本身信息的完整性的同时也区分了特征值之间的分布差异。

另外，在经过卷积层对待处理图像进行处理时，卷积核的数量可以为C，每个卷积核都代表一个通道，从而输出得到待处理图像的特征图包括C个通道的响应图；在该情况下，通过以下步骤获取待处理对象的特征图对应的池化权重图。

步骤(1)，通过预设的权重计算模型，获取各通道的响应图对应的池化权重图；

步骤(2)，合并各通道的响应图对应的池化权重图，作为待处理对象的特征图对应的池化权重图。

具体地说，将待处理图像的C个通道的响应图分别输入权重计算模型，获取到C个通道的响应图对应的池化权重图；将C个通道的池化权重图合并得到的是待处理图像的池化权重图；可以理解的是，由于池化权重图的尺寸均相同，在合并时将各池化权重图中同一位置的权重值进行合并，作为待处理图像的池化权重图中同一位置的权重值。

本实施例相对于现有技术而言，通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，其中，所述预设的权重计算模型经过预设图像的特征图训练得到，所述池化权重图的尺寸和所述特征图尺寸大小一致；根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果；可以理解的是，本发明实施例中提供的权重计算模型，是经过特征图训练得到的，因此通过权重计算模型，能够基于待处理图像本身的特征，来动态地获取到有针对性的池化权重，用于表示待处理图像本身的特征之间的相关性，且相对于人工预设的权重其可参考价值更高；根据获取到的权重来对待处理图像进行池化，在池化处理过程中有效保障了待处理图像的特征的完整性；基于待处理图像本身来动态获取到的权重更具备对于不同类型输入的适应性，有效提升了池化处理性能。

本发明第二实施例涉及一种池化处理系统，如图5所示，包括：池化权重输出模块201和池化结果输出模块202。

池化权重输出模块201，用于通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，其中，所述预设的权重计算模型经过预设图像的特征图训练得到，所述池化权重图的尺寸和所述特征图尺寸大小一致；

池化结果输出模块202，用于根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果。

在实例中，所述特征图对应的池化权重图包括与所述特征图中每个所述特征值对应的权重值，池化权重输出模块201通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，包括：通过预设滑动窗口对所述特征图进行采样，获取每个所述窗口中的特征值；通过所述权重计算模型，获取每个所述窗口中的激活值；对每个所述窗口中的激活值进行归一化处理，将归一化后的所述激活值作为所述特征值对应的权重值。

在实例中，池化结果输出模块202根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果，包括：通过预设滑动窗口对所述特征图和所述池化权重图进行采样，获取每个所述窗口中的特征值和权重值；根据每个所述窗口中的特征值和权重值，计算每个所述窗口的池化结果；所述待处理图像的池化结果包括每个所述窗口的池化结果。

在实例中，池化权重输出模块201通过以下公式，对每个所述窗口中的激活值进行归一化处理：

其中，所述w_i,表示归一化后的所述激活值，所述表示所述窗口中的激活值，所述S表示所述窗口的尺寸。需要说明的是，由于在一个窗口中，i和j的下界值均是从0开始，因此i和j的上界值为(S-1)，i和j的取值能够保证取到窗口中对应的所有值，i和j的取值并不等同于特征图中特征值的实际下标。

在实例中，池化结果输出模块202通过以下公式，计算每个所述窗口的池化结果：

其中，所述y_i,表示每个所述窗口的池化结果，所述w_i,表示所述窗口中的权重值，所述x_i,表示所述窗口中的特征值，所述S表示所述窗口的尺寸。

在实例中，所述待处理图像的特征图包括若干个通道的响应图，池化权重输出模块201通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，包括：通过预设的权重计算模型，获取各所述通道的响应图对应的池化权重图；合并各所述通道的响应图对应的池化权重图，作为所述待处理图像的特征图对应的池化权重图。

在实例中，池化权重模块201或池化结果输出模块202通过预设滑动窗口进行采样，包括：通过所述预设滑动窗口和与所述预设滑动窗口的尺寸相同的步幅进行采样。

本实施例相对于现有技术而言，池化处理系统通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，其中，所述预设的权重计算模型经过预设图像的特征图训练得到，所述池化权重图的尺寸和所述特征图尺寸大小一致；根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果；可以理解的是，本发明实施例中提供的权重计算模型，是经过特征图训练得到的，因此通过权重计算模型，能够基于待处理图像本身的特征，来动态地获取到有针对性的池化权重，用于表示待处理图像本身的特征之间的相关性，且相对于人工预设的权重其可参考价值更高；根据获取到的权重来对待处理图像进行池化，在池化处理过程中有效保障了待处理图像的特征的完整性；基于待处理图像本身来动态获取到的权重更具备对于不同类型输入的适应性，有效提升了池化处理性能。

本发明第三实施例涉及一种池化处理系统，如图6所示，包括：包括至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行上述的池化处理方法。

其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器301。

处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。

本发明第四实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述池化处理方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (7)

1.一种池化处理方法，其特征在于，包括：

通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，其中，所述预设的权重计算模型是经过预设图像的特征图训练得到的卷积神经网络模型，包括卷积层、批标准化层、激活层和全连接层；所述池化权重图的尺寸和所述特征图尺寸大小一致；

根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果；

所述待处理图像的特征图包括若干个通道的响应图，所述通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，包括：

通过预设的权重计算模型，获取各所述通道的响应图对应的池化权重图；

合并各所述通道的响应图对应的池化权重图，作为所述待处理图像的特征图对应的池化权重图；

所述根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果，包括：

通过预设滑动窗口对所述特征图和所述池化权重图进行采样，获取每个所述窗口中的特征值和权重值；

所述池化结果由所述每个窗口的特征值与权重值加权求和得到；

所述特征图对应的池化权重图包括与所述特征图中每个所述特征值对应的权重值，所述通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，包括：

通过预设滑动窗口对所述特征图进行采样，获取每个所述窗口中的特征值；

通过所述权重计算模型，获取每个所述窗口中的激活值；

对每个所述窗口中的激活值进行归一化处理，将归一化后的所述激活值作为所述特征值对应的权重值。

2.根据权利要求1所述的池化处理方法，其特征在于，通过以下公式，对每个所述窗口中的激活值进行归一化处理：

其中，所述w_i,j表示归一化后的所述激活值，所述表示所述窗口中的激活值，所述S表示所述窗口的尺寸。

3.根据权利要求1所述的池化处理方法，其特征在于，通过以下公式，计算每个所述窗口的池化结果：

其中，所述y_i,j表示每个所述窗口的池化结果，所述w_i,j表示所述窗口中的权重值，所述x_i,j表示所述窗口中的特征值，所述S表示所述窗口的尺寸。

4.根据权利要求1所述的池化处理方法，其特征在于，所述通过预设滑动窗口进行采样，包括：

通过所述预设滑动窗口和与所述预设滑动窗口的尺寸相同的步幅进行采样。

5.一种池化处理系统，包括：

池化权重输出模块，用于通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，其中，所述预设的权重计算模型是经过预设图像的特征图训练得到的卷积神经网络模型，包括卷积层、批标准化层、激活层和全连接层；所述池化权重图的尺寸和所述特征图尺寸大小一致；

所述待处理图像的特征图包括若干个通道的响应图，所述通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，包括：通过预设的权重计算模型，获取各所述通道的响应图对应的池化权重图；合并各所述通道的响应图对应的池化权重图，作为所述待处理图像的特征图对应的池化权重图；

所述特征图对应的池化权重图包括与所述特征图中每个所述特征值对应的权重值，所述通过预设的权重计算模型，获取待处理图像的特征图对应的池化权重图，包括：

通过预设滑动窗口对所述特征图进行采样，获取每个所述窗口中的特征值；

通过所述权重计算模型，获取每个所述窗口中的激活值；

对每个所述窗口中的激活值进行归一化处理，将归一化后的所述激活值作为所述特征值对应的权重值；

池化结果输出模块，用于根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果；

所述根据所述特征图和所述池化权重图，获取所述待处理图像的池化结果，包括：

通过预设滑动窗口对所述特征图和所述池化权重图进行采样，获取每个所述窗口中的特征值和权重值；所述池化结果由所述每个窗口的特征值与权重值加权求和得到。

6.一种池化处理系统，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任一项所述的池化处理方法。

7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的池化处理方法。