CN107729991A - 一种位置可学习的神经网络神经元选择性激活方法 - Google Patents

Abstract

本发明涉及一种位置可学习的神经网络神经元选择性激活方法，用于改进需要进行神经元选择性激活的神经网络结构，包括：给定一个需要进行神经元选择性激活的神经网络操作；选定一个插值函数；构造位置法则的位置存储区域，唯一地确定学习得到的元素位置；初始化；前向传播：在神经网络前向传播过程中，当需要进行神经元选择性激活时，通过位置存储区域计算需要参与运算的元素的位置，然后将这些位置的元素值送入后续步骤中进行计算；反向传播：在神经网络前向传播过程中，待更新的参数包括位置存储区域中的有序数对，更新F中存储的位置偏移量；迭代训练到收敛。

Description

一种位置可学习的神经网络神经元选择性激活方法

技术领域

本发明属于机器学习和神经网络领域，特别涉及一种位置可学习的神经网络神经元选择性激活方法。

背景技术

神经网络(Neural Network,NN)近年迅速发展，已经广泛应用于语音识别、人脸识别、图像分类、自动驾驶等众多领域。

在几种常见的神经网络(例如深度信念网、卷积神经网、循环神经网等)中，都存在选择性激活某些神经元的操作，例如经常使用的丢弃层(Dropout)选择性地将一些神经元关闭，卷积神经网中常用的最大池化(Max-Pooling)层选择性地保留一部分神经元等。这些选择性激活方法是神经网络达到良好性能的重要原因之一，例如丢弃层能够有效防止过拟合。但是这些方法往往是手工地激活某些神经元，激活位置固定，无法利用数据本身的特征学习地进行选择性激活。本发明提出的方法就是一种位置可学习的神经网络神经元选择性激活方法，可以应用在任何需要选择性地激活某些神经元的结构上。

神经网络各神经元的输入是时间(空间)离散序列，以二维图像为例，传统神经网络中，对神经元位置求导得到的结果为分数，无法映射回输入图像中，也就无法学习地得到神经元的激活位置，只能通过手工设置规则来选择激活的神经元。本发明的方法能够解决上述问题，使学习地选择激活神经元的位置成为可能。

[1]Dai J.,et al.Deformable Convolutional Networks[J].ComputingResearch Repository,2017,abs/1703.06211.

[2]Jeon Y,Kim J.Active Convolution:Learning the Shape of Convolutionfor Image Classification[J].Computing Research Repository,2017,abs/1703.09076.

[3]Lin M.,et al.Network in Network[A].International Conference onLearning Representations 2014[C].Banff,Canada:2014.

发明内容

本发明目的在于提供一种位置可学习的神经网络神经元选择性激活方法，以解决现有技术中神经网络中只能通过手工设置统一规则来选择激活神经元的位置的缺陷。该方法使神经网络能够更灵活地提取目标的隐式特征，并且提取的特征具有较强的鲁棒性，且该方法不局限于某一种神经网，也不局限于某一个网络结构，具有较强的普适性和实用性。为了解决上述问题，达到上述目的，本发明的技术方案如下：

一种位置可学习的神经网络神经元选择性激活方法，用于改进需要进行神经元选择性激活的神经网络结构，神经网络中神经元选择性激活是指：在计算过程中，需要将输入张量的一部分而非全部作为一次迭代的输入，通过数次迭代产生输出张量的过程，包括下列步骤：

1)给定一个需要进行神经元选择性激活的神经网络操作，设其等效表达形式为

y＝f(x)＝A·x

其中，y为输出张量，A为该操作的等效算子；则该操作在位置p₀处的输出值可表示为：

y(p₀)＝A(p_n)·x(p_n)

其中点集p_n是由该层运算定义的与位置p₀的运算区域，记x上的全部可选点为

则有注意其中点的索引是离散的；另记构造点集p_n的对应法则为g(·)，即

p_n＝g(p₀)

2)选定一个插值函数G({p_i})，其中p_i表示运算区域中需要参与插值运算的点，有

q_n＝G(g(p₀))

其中 表示连续化后的可选区域，即其中点的索引是连续的；

3)构造位置法则g(·)的位置存储区域F：为存储学习得到的位置区域，引入集合F，其尺寸与一次迭代的q_n一致，存储形式为有序数对，维度与输入张量x一致，有序数对存储的是各个维度学习得到的点相对于当前位置p₀的移量，这样根据F中的每个有序数对，就可以唯一地确定学习得到的元素位置；

4)初始化：将对应法则g(·)初始化为传统的近邻取值，即将上述位置存储区域F初始化为传统操作中的位置偏移规则；

5)前向传播：在神经网络前向传播过程中，当需要进行神经元选择性激活时，通过位置存储区域F计算需要参与运算的元素的位置，然后将这些位置的元素值送入后续步骤中进行计算；

6)反向传播：在神经网络前向传播过程中，待更新的参数包括位置存储区域F中的有序数对，计算插值函数G(·)对位置存储区域F中的位置坐标偏移量的梯度gradG(F)，反向传播时更新F中存储的位置偏移量；通过神经网络反向传播的迭代更新，达到学习神经元位置的目的；

7)迭代训练到收敛，即完成模型训练，此时取得神经元选择性激活的最佳位置；

8)测试阶段：使用上述训练过程得到了最佳神经元选择性激活的位置F，测试阶段使用这一位置存储区域F，进行上述步骤5的前向传播过程，即完成测试。

本发明实质性的特点是：通过将位置作为神经网络学习的参数，通过学习的方法得到需要参与运算的神经元的位置，避免了手工设计的局限性，能够稳定地提升神经网络性能，可用于改进任何神经网络。有益效果如下：

1、适用范围较广，可以应用于所有的神经网络。

2、相比于传统的方法，大大增强了网络的性能。

3、实现简单，对现有网络结构影响很小。

附图说明

图1本发明的网络结构

图2NIN网络结构

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，描述中将以用于图像分类的卷积神经网络为例，显然，所描述的实施例仅是本发明的一部分实例，而不是全部的实例。

神经网络大体包含训练和测试两个过程，本发明提出的是一种可学习的选择神经元位置的方法，因此主要贡献在于训练过程，而测试过程的步骤主要由神经网络结构本身决定，此处不作为讨论的重点。

本发明的方法可以用于任何需要选择性激活神经元的神经网络结构，包括但不限于卷积、丢弃、池化等，给定任意上述类型的结构，设其等效表达形式为

y＝f(x)＝A·x+b

其中，x为该层输入，y为该层输出，A为等效算子，b为偏置。则该层在位置p₀处的值可表示为：

y(p₀)＝A(p_n)·x(p_n)+b(p₀)

其中区域p_n是由该层运算定义的与位置p₀相关的运算区域，若记全部可选区域为则传统网络中，区域p_n是由p₀确定的，即

p_n＝g(p₀)

传统神经网络中，位置的对应规则g(·)是手工确定的，并且是离散的，一般与该层的运算f(·)有关。而本发明的方法，就是使g(·)成为可学习的，这就需要使g(·)和p_n连续化。

任给插值函数G(p)，其中p表示运算区域中需要参与插值运算的点集，则有

q_n＝G(g(p₀))

其中 表示连续化后的可选区域。此时，q_n相对于p_n的偏移量可表示为

Δp_n＝q_n-p_n

则本发明中该层在位置p₀处的值变为：

y(p₀)＝A(p_n+Δp_n)·x(p_n+Δp_n)+b(p₀)

这样，只要可对位置偏移量Δp_n求导，即可在训练中学习得到合适的激活神经元。为实现这一目标，本发明设计了如图1的网络结构，在训练过程中，选择适当的插值函数(本发明与插值函数具体形式无关，仅要求对位置p可导)，添加本发明的位置分支网络结构，即可实现对激活神经单元位置的学习。其中，根据不同的数据分支的特点，位置分支可以做适当修改。

测试过程中，与传统神经网络不同，本发明的方法还需要保存位置的偏移量，并在测试时进行偏移、计算。

为了验证本发明的效果，我们通过对比常用的网中网(Network In Network，NIN)网络结构，实验数据为广泛使用的Cifar10图像分类数据集，分为原始图像和数据增强后(数据增强的方式为平移和翻转)的图像两次测试。首先将本发明应用于NIN结构的Dropout层，取得了一定的效果；然后将本发明同时应用于NIN结构的Dropout层和卷积层，取得了更好的效果：表1给出了在两次测试中的量化比较结果(数值越小，性能越好)。

表1本发明的有益效果示例

下面结合实施例进行描述。

训练阶段：

1.数据收集：收集训练数据集并标记数据的标签，本示例训练数据集为图像，标签为图像的类别，其它任务可根据需求收集数据集和标签，训练方法原理相同；

2.结构设计：设置卷积神经网络的结构，本示例采用常见的NIN结构。网络结构示意图如图2所示，共包含3个多层感知机卷积(mlpconv)层，这是NIN结构的一个标准单元，每个mlpconv层后面包含：修正线性单元(ReLU)激活函数，最大池化层(Max Pooling)和丢弃层(Dropout)。最大池化层采用的是3×3模板，丢弃层丢弃概率为0.5。所有卷积核大小都为3×3，第一个mlpconv层的卷积通道数为96，第二个mlpconv层的卷积通道数为192，第三个mlpconv层的卷积通道数为10。第三个mlpconv层之后还需添加7×7的平均池化(AveragePooling)层。最后接10分类的Softmax层，即分类类别数为10。

3.结构改造：上述神经网络结构中，卷积层、丢弃层(Dropout)、池化层(Pooling)等操作都存在选择性激活神经元的过程，都适合用本方法进行改进。以卷积层的卷积操作为例，给定一个输入张量x，传统卷积操作的一次迭代即在输入x的位置p₀处计算y(p₀)＝∑A_k×k⊙x(p₀),其中⊙为哈达马乘积，A为卷积核，尺寸为k×k，Σ是对结果中的所有元素(共k×k个)进行求和操作，y(p₀)表示输出张量在p₀位置的值。在这一过程中，神经元选择性激活即发生在x(p₀)的构造过程中，传统的卷积将x(p₀)构造成紧邻p₀的k×k个像素，而本方法则改变了构造x(p₀)的方式，使其元素的位置成为可学习的。在这一过程中，需要构造位置存储区域F,例如，若输入张量为二维矩阵，q_n尺寸为3×3，则F为3×3个二维有序数对组成的集合。

同时，选择合适的插值函数，本例选取双线性插值

G({p₁,p₂})＝max(0,1-|p_1x-p_2x|)·max(0,1-|p_1x-p_2y|)，

其中p₁，p₂表示插值参考点，p_ix-p_iy(i＝1,2)分别表示p_i的横坐标、纵坐标；

4.初始化：通过高斯随机初始化的方法进行参数初始化方差0.01，均值0。

特别地，将上述位置存储区域初始化为传统操作中的位置偏移规则，以卷积核为3׳的二维卷积为例：

迭代次数500次，冲量大小0.9，学习率0.1，学习率衰减0.0005；

5.前向传播：从第一层到最后一层，网络通过本发明的位置分支计算参与计算的神经元的位置，然后将这些位置送入传统神经网中进行计算。

6.反向传播：从最后一层到第一层，应用反向传播算法(Back-Propagation)对神经网络参数进行更新，这些参数包括本发明的偏移位置参数。具体地，本示例中的插值函数在p₁，p₂为邻近两点且p_1x＜p_2x时对p_1x偏导数其他情况以此类推。通过权重参数的学习、更新，使得训练误差不断降低，达到模型优化的目的；

7.迭代：重复500次步骤4和步骤5来迭代地优化神经网络的参数。

测试阶段：

1.数据收集：收集测试数据集，本示例为待分类的图像；

2.结构设计：使用图2所示的神经网络结构，除丢弃层外，其与训练结构基本一致。一般地，丢弃层在测试阶段不起作用，因此可以按传统方法直接删除；

3.前向传播：从第一层到最后一层，输入测试数据并进行前向计算。与训练时类似，先计算本发明提到的位置分支得到需要激活的神经元位置，然后利用这些神经元的数据参与传统的计算，得到最终的输出。

Claims (1)

1.一种位置可学习的神经网络神经元选择性激活方法，用于改进需要进行神经元选择性激活的神经网络结构，神经网络中神经元选择性激活是指：在计算过程中，需要将输入张量的一部分而非全部作为一次迭代的输入，通过数次迭代产生输出张量的过程，包括下列步骤：

1)给定一个需要进行神经元选择性激活的神经网络操作，设其等效表达形式为

y＝f(x)＝A·x

其中，y为输出张量，A为该操作的等效算子；则该操作在位置p₀处的输出值可表示为：

y(p₀)＝A(p_n)·x(p_n)

其中点集p_n是由该层运算定义的与位置p₀的运算区域，记x上的全部可选点为则有注意其中点的索引是离散的；另记构造点集p_n的对应法则为g(·)，即

p_n＝g(p₀)

2)选定一个插值函数G({p_i})，其中p_i表示运算区域中需要参与插值运算的点，有

q_n＝G(g(p₀))

其中 表示连续化后的可选区域，即其中点的索引是连续的；

3)构造位置法则g(·)的位置存储区域F：为存储学习得到的位置区域，引入集合F，其尺寸与一次迭代的q_n一致，存储形式为有序数对，维度与输入张量x一致，有序数对存储的是各个维度学习得到的点相对于当前位置p₀的移量，这样根据F中的每个有序数对，就可以唯一地确定学习得到的元素位置；

4)初始化：将对应法则g(·)初始化为传统的近邻取值，即将上述位置存储区域F初始化为传统操作中的位置偏移规则；

5)前向传播：在神经网络前向传播过程中，当需要进行神经元选择性激活时，通过位置存储区域F计算需要参与运算的元素的位置，然后将这些位置的元素值送入后续步骤中进行计算；

6)反向传播：在神经网络前向传播过程中，待更新的参数包括位置存储区域F中的有序数对，计算插值函数G(·)对位置存储区域F中的位置坐标偏移量的梯度gradG(F)，反向传播时更新F中存储的位置偏移量；通过神经网络反向传播的迭代更新，达到学习神经元位置的目的；

7)迭代训练到收敛，即完成模型训练，此时取得神经元选择性激活的最佳位置；

8)测试阶段：使用上述训练过程得到了最佳神经元选择性激活的位置F，测试阶段使用这一位置存储区域F，进行上述步骤5的前向传播过程，即完成测试。