CN112949829A - 特征图的池化方法、数据处理方法和计算设备 - Google Patents
特征图的池化方法、数据处理方法和计算设备 Download PDFInfo
- Publication number
- CN112949829A CN112949829A CN202110247088.7A CN202110247088A CN112949829A CN 112949829 A CN112949829 A CN 112949829A CN 202110247088 A CN202110247088 A CN 202110247088A CN 112949829 A CN112949829 A CN 112949829A
- Authority
- CN
- China
- Prior art keywords
- pooling
- feature map
- pooled
- values
- hole
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011176 pooling Methods 0.000 title claims abstract description 373
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 43
- 238000010586 diagram Methods 0.000 claims abstract description 25
- 238000005070 sampling Methods 0.000 claims description 48
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012935 Averaging Methods 0.000 claims description 16
- 239000011800 void material Substances 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种特征图的池化方法、数据处理方法和计算设备，该特征图的池化方法应用于包括至少一个空洞池化层的卷积神经网络，该特征图的池化方法包括：获取待池化的特征图；基于所述空洞池化层对所述特征图进行池化，以得到池化后的特征图，其中所述空洞池化层为扩张率大于1的池化层。根据本申请实施例的特征图的池化方法采用的卷积神经网络包括扩张率大于1的空洞池化层，使得对特征图进行池化过程中感受野(相对于标准池化层而言)扩大了，从而提高了对特征图的特征提取能力，并且不会增加计算量。
Description
技术领域
本申请涉及卷积神经网络技术领域，更具体地涉及一种特征图的池化方法、数据处理方法和计算设备。
背景技术
神经网络(neual networks)是人工智能研究领域的一部分，当前最流行的神经网络是卷积神经网络(convolutional neural networks,CNNs)。卷积神经网络目前应用于很多领域，诸如语音识别、图像识别、图像分割、自然语言处理等。
卷积神经网络通常包括卷积层和池化层，其中，池化层主要是用来减少卷积神经网络中参数的数量，防止网络的过拟合，提高网络模型的准确率。池化层进行的池化通常包括最大池化和平均池化。其中，最大池化具有减小卷积层参数误差造成估计均值偏移的作用，更多的保留的是纹理信息；平均池化具有减小邻域大小受限造成的估计值方差增大的作用，更多的保留的是背景信息。
现有的卷积神经网络的池化层通常为标准的池化层，即扩张率(dilation rate，也可称为膨胀率或间隔率)为1的池化层。因此，标准池化层的最大池化和平均池化都是由池化核在相邻的特征图区域进行操作，这使得池化层的感受野受限，特征提取能力有待提升。
发明内容
根据本申请一方面，提供了一种特征图的池化方法，所述方法应用于包括至少一个空洞池化层的卷积神经网络，所述方法包括：获取待池化的特征图；基于所述空洞池化层对所述特征图进行池化，以得到池化后的特征图，其中所述空洞池化层为扩张率大于1的池化层。
在本申请的一个实施例中，所述对所述特征图进行池化，以得到池化后的特征图，包括：对所述特征图进行空洞平均池化，以得到池化后的特征图；其中，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值。
在本申请的一个实施例中，所述对所述特征图进行池化，以得到池化后的特征图，包括：对所述特征图进行空洞最大池化，以得到池化后的特征图；其中，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值。
在本申请的一个实施例中，所述对所述特征图进行池化，以得到池化后的特征图，包括：对所述特征图进行空洞抽样池化，以得到池化后的特征图；其中，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值。
在本申请的一个实施例中，所述对所述特征图进行池化，包括以下中的至少两项：对所述特征图进行空洞平均池化，得到空洞平均池化特征图，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值；对所述特征图进行空洞最大池化，得到空洞最大池化特征图，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值；对所述特征图进行空洞抽样池化，得到空洞抽样池化特征图，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值；其中，所述池化后的特征图包括所述空洞平均池化特征图、所述空洞最大池化特征图和所述空洞抽样池化特征图这三者中的至少两者。
在本申请的一个实施例中，所述空洞池化层的扩张率为2或3。
根据本申请另一方面，提供了一种数据处理方法，所述方法包括：获取待处理的数据；基于包括至少一个空洞池化层的卷积神经网络处理所述数据，所述空洞池化层为扩张率大于1的池化层；输出经所述卷积神经网络处理后的数据。
在本申请的一个实施例中，所述基于包括至少一个空洞池化层的卷积神经网络处理所述数据，包括对从所述数据提取的特征图进行池化，以得到池化后的特征图。
在本申请的一个实施例中，对所述特征图进行池化，包括以下中的至少一项：对所述特征图进行空洞平均池化，得到空洞平均池化特征图，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值；对所述特征图进行空洞最大池化，得到空洞最大池化特征图，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值；对所述特征图进行空洞抽样池化，得到空洞抽样池化特征图，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值；其中，所述池化后的特征图包括所述空洞平均池化特征图、所述空洞最大池化特征图和所述空洞抽样池化特征图这三者中的至少一者。
根据本申请再一方面，提供了一种计算设备，所述计算设备包括存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时，使得所述处理器执行上述方法。
根据本申请又一方面，提供了一种计算设备，所述计算设备上部署有卷积神经网络，所述卷积神经网络包括至少一个空洞池化层，所述空洞池化层为扩张率大于1的池化层。
根据本申请实施例的特征图的池化方法、数据处理方法和计算设备采用的卷积神经网络包括扩张率大于1的空洞池化层，使得对特征图进行池化过程中感受野(相对于标准池化层而言)扩大了，从而提高了对特征图的特征提取能力，并且不会增加计算量。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的特征图的池化方法、数据处理方法和计算设备的示例电子设备的示意性框图。
图2示出根据本申请实施例的特征图的池化方法的示意性流程图。
图3示出现有的卷积神经网络中一个标准池化层的池化核的示例图。
图4示出根据本申请实施例的特征图的池化方法中应用的卷积神经网络的一个空洞池化层的池化核的示例。
图5示出根据本申请实施例的特征图的池化方法中对特征图进行池化的一个示例图。
图6示出根据本申请实施例的数据处理方法的示意性流程图。
图7示出根据本申请实施例的计算设备的示意性框图。
具体实施方式
为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
首先，参照图1来描述用于实现本发明实施例的特征图的池化方法、数据处理方法和计算设备的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106以及输出装置108，这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。此外，所述输入装置106也可以是任何接收信息的接口。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。此外，所述输出装置108也可以是任何其他具备输出功能的设备。
示例性地，用于实现根据本发明实施例的特征图的池化方法、数据处理方法和计算设备的示例电子设备可以被实现诸如智能手机、平板电脑、摄像头等终端。
下面，将参考图2描述根据本申请实施例的特征图的池化方法200，其应用于包括至少一个空洞池化层的卷积神经网络。如图2所示，特征图的池化方法200可以包括如下步骤：
在步骤S210，获取待池化的特征图。
在步骤S220，基于所述空洞池化层对所述特征图进行池化，以得到池化后的特征图，其中所述空洞池化层为扩张率大于1的池化层。
在本申请的实施例中，采用包括至少一个空洞池化层的卷积神经网络中的空洞池化层对待池化的特征图(诸如来自该卷积神经网络的卷积层输出的特征图)进行池化。其中，空洞池化层为扩张率大于1的池化层。扩张率可以理解为池化层的池化核中核的间隔数，或者更直观地描述是指池化层的池化核所对应的块数据中每两个非零数值之间的间隔数。例如，当扩张率为1时，即间隔数为1，表示每两个非零数值直接相邻，理解为没有间隔；当扩张率为2时，即间隔数为2，表示每两个非零数值之间不是直接相邻，而是间隔(包含)1个零值，理解为一个间隔；当扩张率为3时，即间隔数为3，表示每两个非零数值之间不是直接相邻，而是间隔(包含)2个零值，理解为两个间隔，依次类推。现在结合图3和图4示例性描述。
图3示出现有的卷积神经网络中一个标准池化层的池化核的示例图。如图3所示，标准池化层(也称为普通池化层，相对于本申请提出的空洞池化层而言)的池化核300的大小为2*2(仅是示例性的)，该2*2大小的数据块中各单元格内的数值分别为w00、w01、w10、w11，且它们均为非零值。很明显，该池化核300中每两个非零数值之间直接相邻，没有间隔，因此，该标准池化层的扩张率为1。当池化层的扩张率为1时，池化层的感受野受限，特征提取能力。
图4示出根据本申请实施例的特征图的池化方法中应用的卷积神经网络的一个空洞池化层的池化核的示例。如图4所示，空洞池化层的池化核400的大小为3*3(仅是示例性的)，该3*3大小的数据块中各单元格内的数值分别为w00、0、w01、0、0、0、w10、0、w11，且w00、w01、w10、w11均为非零值。图4所示的池化核400可以看做是对图3所示的池化核300进行了空洞化之后得到的，其中，该空洞化是指：在池化核300中加入空洞，即在w00、w01、w10、w11这些数值的每两个数值之间插入0，这将在不增加计算量的情况下扩大池化核300的感受野(即得到池化核400)。很明显，该池化核400中每两个非零数值之间有一个间隔，因此，该池化层的扩张率为2。相对于扩张率为1的标准池化层，该池化层(即空洞池化层)的感受野扩大了，因此空洞池化层(相对于标准池化层而言)具有更强的特征提取能力。
当然，图4所示的仅是本申请的方法中采用的空洞池化层的一个示例，根据本申请实施例的方法还可以采用具有更高扩张率的空洞池化层对特征图进行池化，诸如扩张率为3、4或者更高的池化层。由于本申请的特征图的池化方法采用的卷积神经网络包括扩张率大于1的空洞池化层，使得对特征图进行池化过程中感受野(相对于标准池化层而言)扩大了，从而提高了对特征图的特征提取能力，并且不会增加计算量。
下面描述空洞池化层可对特征图进行的池化操作。在本申请的一个实施例中，步骤S220中的对所述特征图进行池化，以得到池化后的特征图，可以包括：对所述特征图进行空洞平均池化，以得到池化后的特征图；其中，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值。其中，空洞池化核即为空洞池化层的池化核；空洞池化核接收域即为：待池化的特征图中每个与空洞池化核的大小对应的数据块中空洞池化核中非零值位置对应的值(稍后结合图5来示例性描述)。在该实施例中，对待池化的特征图进行空洞平均池化，由于感受野扩大，因而可以快捷地得到更简洁的特征图，且通道数不会改变。
在本申请的另一个实施例中，步骤S220中的对所述特征图进行池化，以得到池化后的特征图，可以包括：对所述特征图进行空洞最大池化，以得到池化后的特征图；其中，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值。在该实施例中，对待池化的特征图进行空洞最大池化，由于感受野扩大，因而可以快捷地得到更简洁的特征图，且通道数不会改变。
在本申请的再一个实施例中，步骤S220中的对所述特征图进行池化，以得到池化后的特征图，可以包括：对所述特征图进行空洞抽样池化，以得到池化后的特征图；其中，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值。在该实施例中，对待池化的特征图进行空洞抽样池化，由于感受野扩大，因而可以快捷地得到更简洁的特征图，且由于空洞池化核接受域中的所有值维持不变，因而可以从一张待池化的特征图得到多张特征图，提升了通道数，丰富了提取的语义信息。
在本申请的又一个实施例中，步骤S220中的对所述特征图进行池化，可以包括以下中的至少两项：对所述特征图进行空洞平均池化，得到空洞平均池化特征图，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值；对所述特征图进行空洞最大池化，得到空洞最大池化特征图，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值；对所述特征图进行空洞抽样池化，得到空洞抽样池化特征图，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值；其中，所述池化后的特征图包括所述空洞平均池化特征图、所述空洞最大池化特征图和所述空洞抽样池化特征图这三者中的至少两者。在该实施例中，对待池化的特征图进行空洞平均池化、空洞最大池化以及空洞抽样池化这三者中的至少两者，由于感受野扩大，因而可以快捷地得到更简洁的特征图，且可以从一张待池化的特征图得到至少两张特征图，提升了通道数，丰富了提取的语义信息。
下面结合图5根据上述实施例进行示例性描述。图5示出根据本申请实施例的特征图的池化方法中对特征图进行池化的一个示例图。如图5所示，待池化的特征图示出为500，其为4*4的特征图。假定采用图4所示的空洞池化层对其进行池化，则空洞池化核接收域为特征图500中每个3*3大小的数据块中空洞池化核中非零值位置对应的值。如图5所示，特征图500中包括4个3*3大小的数据块，分别为第一数据块：1、4、2、4、6、6、3、4、6；第二数据块：4、2、3、6、6、8、4、6、5；第三数据块：4、6、6、3、4、6、3、9、7；第四数据块：6、6、8、4、6、5、9、7、1。因此，可以得到4个空洞池化核接收域，分别为第一空洞池化核接收域，其中的值包括：1、2、3、6；第二空洞池化核接收域，其中的值包括：4、3、4、5；第三空洞池化核接收域，其中的值包括：4、6、3、7；第四空洞池化核接收域，其中的值包括：6、8、9、1。
因此，当对待池化的特征图500进行空洞平均池化时，即分别对第一空洞池化核接收域中的所有值求平均值得到结果3，对第二空洞池化核接收域中的所有值求平均值得到结果4，对第三空洞池化核接收域中的所有值求平均值得到结果5，对第四空洞池化核接收域中的所有值求平均值得到结果6。从而，得到的空洞平均池化特征图为2*2的特征图，该特征图中的值为3、4、5、6。
类似地，当对待池化的特征图500进行空洞最大池化时，即分别对第一空洞池化核接收域中的所有值求最大值得到结果6，对第二空洞池化核接收域中的所有值求最大值得到结果5，对第三空洞池化核接收域中的所有值求最大值得到结果7，对第四空洞池化核接收域中的所有值求最大值得到结果9。从而，得到的空洞最大池化特征图为2*2的特征图，该特征图中的值为6、5、7、9。
类似地，当对待池化的特征图500进行空洞抽样池化时，即分别对第一空洞池化核接收域中的所有值维持不变，得到第一个特征图，该特征图中的值为1、2、3、6；对第二空洞池化核接收域中的所有值维持不变，得到第二个特征图，该特征图中的值为4、3、4、5；对第三空洞池化核接收域中的所有值维持不变，得到第三个特征图，该特征图中的值为4、6、3、7；对第四空洞池化核接收域中的所有值维持不变，得到第四个特征图，该特征图中的值为6、8、9、1。这四个特征图均为空洞抽样池化特征图。
如前所述的，对待池化的特征图的池化可以包括空洞平均池化、空洞最大池化以及空洞抽样池化这三者中的至少一者，因此，得到的池化后的特征图可以包括空洞平均池化特征图、空洞最大池化特征图以及空洞抽样池化特征图这三者中的至少一者。当进行空洞平均池化或空洞最大池化，由于感受野扩大，因而可以快捷地得到更简洁的特征图；当进行空洞抽样池化特征图时，由于感受野扩大，因而可以快捷地得到更简洁的特征图，且由于空洞池化核接受域中的所有值维持不变，因而可以从一张待池化的特征图得到多张特征图，提升了通道数，丰富了提取的语义信息；当进行空洞平均池化、空洞最大池化以及空洞抽样池化这三者中的至少两者，由于感受野扩大，因而可以快捷地得到更简洁的特征图，且可以从一张待池化的特征图得到至少两张特征图，提升了通道数，丰富了提取的语义信息。
基于上面的描述，根据本申请实施例的特征图的池化方法采用的卷积神经网络包括扩张率大于1的空洞池化层，使得对特征图进行池化过程中感受野(相对于标准池化层而言)扩大了，从而提高了对特征图的特征提取能力，并且不会增加计算量。此外，根据本申请实施例的特征图的池化方法可采用空洞池化层对特征图进行空洞平均池化、空洞最大池化以及空洞抽样池化这三者中的至少一者，能够快捷地得到更简洁的特征图，甚至能够提升通道数，从而丰富提取的语义信息。
以上示例性地示出了根据本申请实施例的特征图的池化方法。下面结合图6描述根据本申请另一方面提供的数据处理方法。图6示出了根据本申请实施例的数据处理方法600的示意性流程图。如图6所示，数据处理方法600可以包括如下步骤：
在步骤S610，获取待处理的数据。
在步骤S620，基于包括至少一个空洞池化层的卷积神经网络处理所述数据，所述空洞池化层为扩张率大于1的池化层。
在步骤S630，输出经所述卷积神经网络处理后的数据。
根据本申请实施例的数据处理方法600使用包括至少一个空洞池化层的卷积神经网络处理数据(诸如语音数据、图像数据等)，由于空洞池化层相对于标准池化层(普通池化层)具有扩大的感受野，因此相对于标准池化层具有更强的特征提取能力(如前文实施例所述的，此处为了简洁不再赘述)。因此，经包括至少一个空洞池化层的卷积神经网络处理后的数据(即对语音数据、图像数据提取的特征数据)将具有更高的精度，对于后续的数据处理，诸如语音识别、图像识别将大有助益。
在本申请的一个实施例中，步骤S620中基于包括至少一个空洞池化层的卷积神经网络处理所述数据，可以包括对从所述数据提取的特征图进行池化，以得到池化后的特征图。在本申请的一个实施例中，所述特征图进行池化，可以包括以下中的至少一项：对所述特征图进行空洞平均池化，得到空洞平均池化特征图，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值；对所述特征图进行空洞最大池化，得到空洞最大池化特征图，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值；对所述特征图进行空洞抽样池化，得到空洞抽样池化特征图，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值；其中，所述池化后的特征图包括所述空洞平均池化特征图、所述空洞最大池化特征图和所述空洞抽样池化特征图这三者中的至少一者。关于特征图的池化方法前文实施例中已经过详细描述，为了简洁，此处不再赘述。
下面结合图7描述根据本申请再一方面提供的计算设备。图7示出根据本申请实施例的计算设备700的示意性框图。如图7所示，计算设备700可以包括存储器710和处理器720，存储器710存储有由处理器720运行的计算机程序，所述计算机程序在被处理器720运行时，使得处理器720执行前文所述的根据本申请实施例的特征图的池化方法和/或数据处理方法。本领域技术人员可以结合前文所述的内容理解根据本申请实施例的计算设备的具体操作，为了简洁，此处不再赘述具体的细节，仅描述处理器720的一些主要操作。
在本申请的一个实施例中，所述计算机程序在被处理器720运行时，使得处理器720执行一种特征图的池化方法，所述方法应用于包括至少一个空洞池化层的卷积神经网络，所述方法包括：获取待池化的特征图；基于所述空洞池化层对所述特征图进行池化，以得到池化后的特征图，其中所述空洞池化层为扩张率大于1的池化层。
在本申请的一个实施例中，所述计算机程序在被处理器720运行时，使得处理器720的所述对所述特征图进行池化，以得到池化后的特征图，包括：对所述特征图进行空洞平均池化，以得到池化后的特征图；其中，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值。
在本申请的一个实施例中，所述计算机程序在被处理器720运行时，使得处理器720的所述对所述特征图进行池化，以得到池化后的特征图，包括：对所述特征图进行空洞最大池化，以得到池化后的特征图；其中，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值。
在本申请的一个实施例中，所述计算机程序在被处理器720运行时，使得处理器720的所述对所述特征图进行池化，以得到池化后的特征图，包括：对所述特征图进行空洞抽样池化，以得到池化后的特征图；其中，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值。
在本申请的一个实施例中，所述计算机程序在被处理器720运行时，使得处理器720的所述对所述特征图进行池化，包括以下中的至少两项：对所述特征图进行空洞平均池化，得到空洞平均池化特征图，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值；对所述特征图进行空洞最大池化，得到空洞最大池化特征图，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值；对所述特征图进行空洞抽样池化，得到空洞抽样池化特征图，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值；其中，所述池化后的特征图包括所述空洞平均池化特征图、所述空洞最大池化特征图和所述空洞抽样池化特征图这三者中的至少两者。
在本申请的一个实施例中，所述空洞池化层的扩张率为2或3。
在本申请的一个实施例中，所述计算机程序在被处理器720运行时，使得处理器720执行一种数据处理方法，所述方法包括：获取待处理的数据；基于包括至少一个空洞池化层的卷积神经网络处理所述数据，所述空洞池化层为扩张率大于1的池化层；输出经所述卷积神经网络处理后的数据。
在本申请的一个实施例中，所述计算机程序在被处理器720运行时，使得处理器720执行的所述基于包括至少一个空洞池化层的卷积神经网络处理所述数据，包括对从所述数据提取的特征图进行池化，以得到池化后的特征图。
在本申请的一个实施例中，所述计算机程序在被处理器720运行时，使得处理器720执行的对所述特征图进行池化，包括以下中的至少一项：对所述特征图进行空洞平均池化，得到空洞平均池化特征图，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值；对所述特征图进行空洞最大池化，得到空洞最大池化特征图，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值；对所述特征图进行空洞抽样池化，得到空洞抽样池化特征图，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值；其中，所述池化后的特征图包括所述空洞平均池化特征图、所述空洞最大池化特征图和所述空洞抽样池化特征图这三者中的至少一者。
此外，根据本申请实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本申请实施例的特征图的池化方法和/或数据处理方法的相应步骤。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
此外，根据本申请实施例，还提供了一种计算设备，所述计算设备上部署有卷积神经网络，所述卷积神经网络包括至少一个空洞池化层，所述空洞池化层为扩张率大于1的池化层。与前文实施例所述类似的，部署有该卷积神经网络的计算设备能够实现对特征图的池化，且对特征图进行池化过程中感受野(相对于标准池化层而言)扩大了，从而提高了对特征图的特征提取能力，并且不会增加计算量。该计算设备处理后的特征数据将具有更高的精度。
基于上面的描述，根据本申请实施例的特征图的池化方法、数据处理方法和计算设备采用的卷积神经网络包括扩张率大于1的空洞池化层，使得对特征图进行池化过程中感受野(相对于标准池化层而言)扩大了，从而提高了对特征图的特征提取能力，并且不会增加计算量。此外，根据本申请实施例的特征图的池化方法、数据处理方法和计算设备可采用空洞池化层对特征图进行空洞平均池化、空洞最大池化以及空洞抽样池化这三者中的至少一者，能够快捷地得到更简洁的特征图，甚至能够提升通道数，从而丰富提取的语义信息。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种特征图的池化方法，其特征在于，所述方法应用于包括至少一个空洞池化层的卷积神经网络，所述方法包括：
获取待池化的特征图；
基于所述空洞池化层对所述特征图进行池化，以得到池化后的特征图，其中所述空洞池化层为扩张率大于1的池化层。
2.根据权利要求1所述的方法，其特征在于，所述对所述特征图进行池化，以得到池化后的特征图，包括：
对所述特征图进行空洞平均池化，以得到池化后的特征图；
其中，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值。
3.根据权利要求1所述的方法，其特征在于，所述对所述特征图进行池化，以得到池化后的特征图，包括：
对所述特征图进行空洞最大池化，以得到池化后的特征图；
其中，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值。
4.根据权利要求1所述的方法，其特征在于，所述对所述特征图进行池化，以得到池化后的特征图，包括：
对所述特征图进行空洞抽样池化，以得到池化后的特征图；
其中，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值。
5.根据权利要求1所述的方法，其特征在于，所述对所述特征图进行池化，包括以下中的至少两项：
对所述特征图进行空洞平均池化，得到空洞平均池化特征图，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值；
对所述特征图进行空洞最大池化，得到空洞最大池化特征图，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值；
对所述特征图进行空洞抽样池化，得到空洞抽样池化特征图，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值；
其中，所述池化后的特征图包括所述空洞平均池化特征图、所述空洞最大池化特征图和所述空洞抽样池化特征图这三者中的至少两者。
6.根据权利要求1-5中的任一项所述的方法，其特征在于，所述空洞池化层的扩张率为2或3。
7.一种数据处理方法，其特征在于，所述方法包括：
获取待处理的数据；
基于包括至少一个空洞池化层的卷积神经网络处理所述数据，所述空洞池化层为扩张率大于1的池化层；
输出经所述卷积神经网络处理后的数据。
8.根据权利要求7所述的方法，其特征在于，所述基于包括至少一个空洞池化层的卷积神经网络处理所述数据，包括对从所述数据提取的特征图进行池化，以得到池化后的特征图。
9.根据权利要求8所述的方法，其特征在于，对所述特征图进行池化，包括以下中的至少一项：
对所述特征图进行空洞平均池化，得到空洞平均池化特征图，所述空洞平均池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求平均值，以作为池化后的特征图中的值；
对所述特征图进行空洞最大池化，得到空洞最大池化特征图，所述空洞最大池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值求最大值，以作为池化后的特征图中的值；
对所述特征图进行空洞抽样池化，得到空洞抽样池化特征图，所述空洞抽样池化是指：将所述待池化的特征图中空洞池化核接受域中的所有值维持不变，以作为池化后的特征图中的值；
其中，所述池化后的特征图包括所述空洞平均池化特征图、所述空洞最大池化特征图和所述空洞抽样池化特征图这三者中的至少一者。
10.一种计算设备，其特征在于，所述计算设备包括存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时，使得所述处理器执行如权利要求1-9中的任一项所述的方法。
11.一种计算设备，其特征在于，所述计算设备上部署有卷积神经网络，所述卷积神经网络包括至少一个空洞池化层，所述空洞池化层为扩张率大于1的池化层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110247088.7A CN112949829B (zh) | 2021-03-05 | 2021-03-05 | 特征图的池化方法、数据处理方法和计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110247088.7A CN112949829B (zh) | 2021-03-05 | 2021-03-05 | 特征图的池化方法、数据处理方法和计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112949829A true CN112949829A (zh) | 2021-06-11 |
| CN112949829B CN112949829B (zh) | 2024-09-24 |
Family
ID=76228566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110247088.7A Active CN112949829B (zh) | 2021-03-05 | 2021-03-05 | 特征图的池化方法、数据处理方法和计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949829B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393647A (zh) * | 2022-09-07 | 2022-11-25 | 合肥高维数据技术有限公司 | 基于水印数据增强的图片隐形水印检测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10067509B1 (en) * | 2017-03-10 | 2018-09-04 | TuSimple | System and method for occluding contour detection |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN110942145A (zh) * | 2019-10-23 | 2020-03-31 | 南京大学 | 基于可重构计算的卷积神经网络池化层、硬件实现方法及系统 |
| CN111507993A (zh) * | 2020-03-18 | 2020-08-07 | 南方电网科学研究院有限责任公司 | 一种基于生成对抗网络的图像分割方法、装置及存储介质 |
| CN111563491A (zh) * | 2020-07-14 | 2020-08-21 | 浙江大华技术股份有限公司 | 利用网络模型对遥感影像进行分割的方法、设备及装置 |
| CN111666842A (zh) * | 2020-05-25 | 2020-09-15 | 东华大学 | 一种基于双流空洞卷积神经元网络的阴影检测方法 |
| WO2020208899A1 (ja) * | 2019-04-08 | 2020-10-15 | 株式会社日立ハイテク | 画像処理装置、自動分析システム及び画像処理方法 |
| KR102167808B1 (ko) * | 2020-03-31 | 2020-10-20 | 한밭대학교 산학협력단 | Ar에 적용 가능한 의미적인 분할 방법 및 시스템 |
| CN112262395A (zh) * | 2018-07-03 | 2021-01-22 | 通用电气公司 | 基于注释信息的分类 |
-
2021
- 2021-03-05 CN CN202110247088.7A patent/CN112949829B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10067509B1 (en) * | 2017-03-10 | 2018-09-04 | TuSimple | System and method for occluding contour detection |
| CN112262395A (zh) * | 2018-07-03 | 2021-01-22 | 通用电气公司 | 基于注释信息的分类 |
| WO2020056791A1 (zh) * | 2018-09-21 | 2020-03-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| WO2020208899A1 (ja) * | 2019-04-08 | 2020-10-15 | 株式会社日立ハイテク | 画像処理装置、自動分析システム及び画像処理方法 |
| CN110942145A (zh) * | 2019-10-23 | 2020-03-31 | 南京大学 | 基于可重构计算的卷积神经网络池化层、硬件实现方法及系统 |
| CN111507993A (zh) * | 2020-03-18 | 2020-08-07 | 南方电网科学研究院有限责任公司 | 一种基于生成对抗网络的图像分割方法、装置及存储介质 |
| KR102167808B1 (ko) * | 2020-03-31 | 2020-10-20 | 한밭대학교 산학협력단 | Ar에 적용 가능한 의미적인 분할 방법 및 시스템 |
| CN111666842A (zh) * | 2020-05-25 | 2020-09-15 | 东华大学 | 一种基于双流空洞卷积神经元网络的阴影检测方法 |
| CN111563491A (zh) * | 2020-07-14 | 2020-08-21 | 浙江大华技术股份有限公司 | 利用网络模型对遥感影像进行分割的方法、设备及装置 |
Non-Patent Citations (5)
| Title |
|---|
| HONGSHENG LI, ET AL.: "Highly Efficient Forward and Backward Propagation of Convolutional Neural Networks for pixelwise classification", ARXIV:1412.4526V2, 16 December 2014 (2014-12-16), pages 1 - 14 * |
| 乔大叶_803E: "什么是池化卷积", pages 1 - 3, Retrieved from the Internet <URL:https://www.jianshu.com/p/d9dfd6620002> * |
| 李轩 等: "基于卷积神经网络的图像分割算法", 沈阳航空航天大学学报, pages 50 - 57 * |
| 李逾严;张印辉;何自芬;: "基于串联空洞卷积神经网络的网球场景语义分割", 计算机辅助设计与图形学学报, no. 04, 31 December 2020 (2020-12-31), pages 97 - 106 * |
| 罗晖;芦春雨;郑翔文;: "一种基于多尺度角点检测的语义分割网络", 电脑知识与技术, no. 33, 25 November 2019 (2019-11-25), pages 212 - 216 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393647A (zh) * | 2022-09-07 | 2022-11-25 | 合肥高维数据技术有限公司 | 基于水印数据增强的图片隐形水印检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112949829B (zh) | 2024-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111488985B (zh) | 深度神经网络模型压缩训练方法、装置、设备、介质 | |
| CN112396613B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN110189246B (zh) | 图像风格化生成方法、装置及电子设备 | |
| CN111275784B (zh) | 生成图像的方法和装置 | |
| CN112509600A (zh) | 模型的训练方法、装置、语音转换方法、设备及存储介质 | |
| CN109359727B (zh) | 神经网络的结构确定方法、装置、设备及可读介质 | |
| WO2023201947A1 (en) | Methods, systems, and storage media for task dispatch | |
| CN112308227B (zh) | 神经网络架构搜索方法、装置、终端设备以及存储介质 | |
| CN110211017A (zh) | 图像处理方法、装置及电子设备 | |
| CN112949829B (zh) | 特征图的池化方法、数据处理方法和计算设备 | |
| CN114420135A (zh) | 基于注意力机制的声纹识别方法及装置 | |
| CN114037772A (zh) | 一种图像生成器的训练方法、图像生成方法及装置 | |
| CN113923378A (zh) | 视频处理方法、装置、设备及存储介质 | |
| CN113780532A (zh) | 语义分割网络的训练方法、装置、设备及存储介质 | |
| CN111046232B (zh) | 一种视频分类方法、装置及系统 | |
| CN113591472A (zh) | 歌词生成方法、歌词生成模型训练方法、装置及电子设备 | |
| CN110197459B (zh) | 图像风格化生成方法、装置及电子设备 | |
| CN117496990A (zh) | 语音去噪方法、装置、计算机设备及存储介质 | |
| CN115511754B (zh) | 基于改进的Zero-DCE网络的低照度图像增强方法 | |
| CN111160517B (zh) | 一种深度神经网络的卷积层量化方法及装置 | |
| CN116741197A (zh) | 多模态图像生成方法、装置、存储介质及电子设备 | |
| CN117830503A (zh) | 一种人脸建模方法、装置、存储介质及电子设备 | |
| CN116957006A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
| CN116189090A (zh) | 金融场景合法性校验方法及装置 | |
| CN111599363B (zh) | 一种语音识别的方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |