CN111178510A - 基于卷积神经网络的自适应分组卷积模块设计方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的自适应分组卷积模块设计方法。本发明步骤如下：1：对全局特征进行加和求平均处理；2：通过全卷积操作将输入特征的通道数转换为指定大小的通道数，输出特征Ⅰ；同时通过全卷积操作将输入特征通道数不变，但大小改变的特征Ⅱ；3：将步骤2的特征Ⅰ作为softmax函数输入，得到一组概率分布；并按照此概率分布将原始输入特征和得到的卷积核进行分组；4：将分组后的原始输入特征通过分组后的卷积核进行特征提取；对完成特征提取的各个分组得到的特征通过通道拼接进行融合，且融合后的通道数与原始输入特征的通道数一致。本发明设计的模块在卷积神经网络对特征进行提取的过程中，能够自适应的将输入特征进行分组提取。

Description

基于卷积神经网络的自适应分组卷积模块设计方法

技术领域

本发明涉及计算机视觉与人工智能领域，尤其涉及在卷积神经网络中自适应分组卷积的设计方法。

背景技术

卷积神经网络作为人工神经网络的一种，被广泛应用于深度学习中的多种领域，比如自动驾驶、地理信息系统、医疗影像分析、机器人等领域。卷积神经网络通过局部感知和权值共享等方式，自适应提取特征。相比早期采用人为设计的人工算子提取特征的方式，卷积神经网络自适应提取的特征具有更强的表达能力。

在卷积神经网络被广泛应用之前，提取特征通常是使用SIFT，HOG和GIST特征，这些特征有一个共性，都具有按组表示的特征，每一个组由相同种类直方图构建而成，这些特征通常是对在每个直方图或每个方向上进行组归一化而得到。从卷积神经网络角度来说，每一层有很多的卷积核，这些核学习到的特征并不完全是独立的，某些特征具有相同的分布，可以被分为一组。因此，设计一个自适应分组卷积模块，使得卷积神经网络提取更加有效的特征，显得尤为重要。

发明内容

本发明提出一种基于卷积神经网络的自适应卷积模块，该模块会在卷积神经网络对特征进行提取的过程中，自适应的将输入特征进行分组提取。

基于卷积神经网络的自适应分组卷积模块设计方法，该方法设计的模块在卷积神经网络对特征进行提取的过程中，能够自适应的将输入特征进行分组提取，具体实现如下：

步骤1：通过自适应全局平均池化操作，将原始输入特征大小变为1*1的输入特征，即对全局特征进行加和求平均处理；

步骤2：通过全卷积操作将大小为1*1的输入特征的通道数转换为指定大小的通道数，输出特征Ⅰ；

同时通过全卷积操作将大小为1*1的输入特征转换为通道数不变，但大小为3*3的特征Ⅱ，作为分组卷积的卷积核；

步骤3：将步骤2的输出特征Ⅰ作为softmax函数的输入，得到一组概率分布；并按照此概率分布将原始输入特征和得到的卷积核进行分组；

步骤4：将分组后的原始输入特征通过分组后的卷积核进行特征提取；对完成特征提取的各个分组得到的特征通过通道拼接进行融合，使得融合后的通道数与原始输入特征的通道数一致。

所述的指定大小的通道数为数据集中的类别数。

所述的softmax函数的具体实现如下：

将一组输入的K维向量z压缩到另外K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1；其公式如下所示：

所述的将原始输入特征和得到的卷积核进行分组，具体实现如下：

其中，concat是拼接函数，dim是concat拼接函数过程的一个维度参数，dim＝0，指拼接过程中按照第一维度进行拼接。

本发明的有益效果是：

针对卷积神经网络中，每一层的卷积核学习到的特征并不完全是独立的，某些特征具有相同的分布，可以被分为一组的特点，设计自适应分组卷积模块，使分组提取的特征具有更强的表达能力。

附图说明

图1是自适应分组卷积模块运行流程图。

图2是分组卷积具体实施流程图。

具体实施方式

本发明提出了一种基于卷积神经网络的自适应分组卷积模块设计方法，如图1和2所示，本发明在卷积神经网络训练过程中，具体实施方式，如下所示：

步骤1：通过自适应全局平均池化操作，将原始输入特征大小变为1*1的输入特征，即对全局特征进行加和求平均处理。

步骤2：通过全卷积操作将大小为1*1的输入特征的通道数转换为指定大小的通道数，输出特征Ⅰ；所述的指定大小的通道数为数据集中的类别数。例如，将512*1*1的输入特征转换为21*1*1特征。

同时通过全卷积操作将大小为1*1的输入特征转换为通道数不变，但大小为3*3的特征Ⅱ，作为分组卷积的卷积核。例如，将512*1*1的特征转换为512*3*3。

步骤3：将步骤2的输出特征Ⅰ(21*1*1的特征)作为softmax函数的输入，得到一组概率分布；并按照此概率分布将原始输入特征和得到的卷积核进行分组。例如，分别将通道数为512的输入特征和卷积核分为21组。

所述的利用softmax函数将一组输入的K维向量z压缩到另外K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。其公式如下所示：

如图2所示，所述的将原始输入特征和得到的卷积核进行分组，具体实现如下：

步骤5：将分组后的原始输入特征通过分组后的卷积核进行特征提取；对完成特征提取的各个分组得到的特征通过通道拼接进行融合，使得融合后的通道数与原始输入特征的通道数一致。即得到的特征仍为512个通道，但具有相似分布的特征已经被分组提取。

Claims (4)

1.基于卷积神经网络的自适应分组卷积模块设计方法，其特征在于该方法设计的模块在卷积神经网络对特征进行提取的过程中，能够自适应的将输入特征进行分组提取，具体实现如下：

步骤1：通过自适应全局平均池化操作，将原始输入特征大小变为1*1的输入特征，即对全局特征进行加和求平均处理；

步骤2：通过全卷积操作将大小为1*1的输入特征的通道数转换为指定大小的通道数，输出特征I；

同时通过全卷积操作将大小为1*1的输入特征转换为通道数不变，但大小为3*3的特征II，作为分组卷积的卷积核；

步骤3：将步骤2的输出特征I作为softmax函数的输入，得到一组概率分布；并按照此概率分布将原始输入特征和得到的卷积核进行分组；

步骤4：将分组后的原始输入特征通过分组后的卷积核进行特征提取；对完成特征提取的各个分组得到的特征通过通道拼接进行融合，使得融合后的通道数与原始输入特征的通道数一致。

2.根据权利要求1所述的基于卷积神经网络的自适应分组卷积模块设计方法，其特征在于所述的指定大小的通道数为数据集中的类别数。

3.根据权利要求1或2所述的基于卷积神经网络的自适应分组卷积模块设计方法，其特征在于所述的softmax函数的具体实现如下：

将一组输入的K维向量z压缩到另外K维实向量σ(z)中，使得每一个元素的范围都在(0，1)之间，并且所有元素的和为1；其公式如下所示：

4.根据权利要求3所述的基于卷积神经网络的自适应分组卷积模块设计方法，其特征在于所述的将原始输入特征和得到的卷积核进行分组，具体实现如下：

Input：原始特征F(c*w*h)，卷积核K(c*3*3)，概率分布P(p₁，p₂，…，p_n)

for each p_i∈P do

end for

Output：F_out＝concat([out₁，out₂，…，out_n]，dim＝0)；

其中，concat是拼接函数，dim是concat拼接函数过程的一个维度参数，dim＝0，指拼接过程中按照第一维度进行拼接。

Images