CN107633296A - 一种卷积神经网络构建方法 - Google Patents

Abstract

本发明公开了一种卷积神经网络构建方法，属于神经网络技术领域。其在卷积神经网络前向传递时，在每个原始卷积核上，通过手调核与原始卷积核的点乘，实现对原始卷积核的调制，得到调制卷积核，并用该调制卷积核代替原始卷积核进行神经网络的前向传递，以达到特征增强的效果。本发明方法对神经网络做出了极大优化，使得网络所须学习的核总量减少，此外，通过调制产生子卷积核对原始网络结构中冗余学习的核通过进行编排，还能够达到模型压缩的目的。

Description

一种卷积神经网络构建方法

技术领域

本发明涉及图像识别、人工智能及神经网络技术领域，特别是指一种卷积神经网络构建方法。

背景技术

近些年来，随着超大规模分类数据集合和并行计算工具GPU的出现，深度卷积神经网络(deep convolution neural networks,DCNNs)在计算机视觉领域快读发展，并获得了学术界的广泛关注。这种端到端的网络通过大量数据训练样本驱动训练，借助随机梯度下降等优化算法自主学习模型参数，能够非常有效地抽象出原始图片的高级特征，在目标识别、检测、分割等计算机视觉任务中取得了突破性的进展。

DCNNs性能的提高依赖于训练数据的扩展以及复杂的模型结构，然而现实生活中的许多实际问题，通常却只有小规模数据的支持，直接利用目标任务的小规模的训练数据，很难获得高性能的DCNN。与神经网络不同，传统的机器学习算法通过手调特征来进行特征提取和分类，较为重要的手调特征包括方向梯度直方图(Histogram of OrientedGradient,HOG)、尺度不变特征变换(Scale-invariant feature transform,SIFT)、Gabor变换等。基于特征提取的DCNNs是完全基于数据驱动的技术，而手调特征编码特征的过程则不需要进行学习，因此也不依赖大规模的训练数据集。此外，传统的DCNNs在训练过程中通常存在冗余学习的卷积核，当神经网络的层数增加时，网络的数据会迅速增加，所以训练好后，保存的模型也会非常占存储空间。

可见，现有技术中的深度卷积神经网络存在训练样本量大、耗费存储空间的问题。

发明内容

有鉴于此，本发明提出一种卷积神经网络构建方法，该方法能够实现对神经网络的优化，在不降低神经网络性能的同时实现特征优化和模型压缩。

基于上述目的，本发明提供的技术方案是：

一种卷积神经网络构建方法，其在卷积神经网络前向传递时，在每个原始卷积核上，通过手调核与原始卷积核的点乘，实现对原始卷积核的调制，得到调制卷积核，并用该调制卷积核代替原始卷积核进行神经网络的前向传递，以达到特征增强的效果。

可选的，所述手调核为学习出来的手调核，在卷积神经网络的反传过程中，也对手调核进行更新，使其进行自学习，由此得到调制效果较好的手工核。

可选的，通过复制N次的方式将输入卷积神经网络的二维矩阵扩展为三维矩阵，并以三维矩阵作为该卷积神经网络的输入特征图，N为输入二维矩阵的通道数，且输入二维矩阵的通道数与手工核的通道数相等。

可选的，所述三维矩阵输入卷积神经网络后，经过前向传递过程，得到输出特征向量，并通过损失函数计算出损失；得到损失后，卷积神经网络反传更新，损失从最深层传递到最浅层；每层更新时，仅更新本体核，当损失反传到最浅层时，再更新手调核。

从上面所述可以看出，本发明的有益效果在于：

1、本专利的发明人发现，传统的神经网络在网络的每一层卷积层中，通常存在隶属同一种模式，但结构、方向、尺度等信息不完全相同的卷积核，这些核是独立学习的。传统网络忽略了一个事实，即这些同种模式不同结构的核可以通过其中一个本体核调制得出，这样学习多个核的任务则变成只需要学习一个本体核的任务。为此，本发明提出了一种全新的卷积方式，该卷积方式基于卷积核调制，借由手调核来控制可以学习的卷积核，只需要学习部分卷积核，即可拟合复杂模型，同时由于调制信息的加入，使得网络得到的特征能够实现优化或增强，减少参数量和存储空间，同时不会使神经网络性能下降。

2、本发明基于卷积核调制对现有的神经网络结构进行优化，实现了模型压缩，优化了卷积神经网络中的冗余学习，解决了计算资源浪费的弊端。通过学习部分卷积核，拟合出原始参数空间所需学习的其他核，在提高学习效率的同时还能保证神经网络的性能。

3、通过对传统神经网络的结构进行调整，本发明方法在神经网络中加入了调制方式，其中，原始的卷积核由二维卷积核拓展成三维卷积核，相应地，卷积神经网络将由二维卷积变为三维卷积，这种拓展将会使模型参数增长，参数的增长与拓展的通道数量表现为线性关系。为了解决这一问题，本发明方法通过对网络宽度(即每个卷积层卷积核的数量)调整来控制参数的增长，而参数增长与网络的宽度则是平方的关系，通过控制宽度能够在不降低分类精度的实现对模型的压缩。

4、本发明中的手调核可以是传统手调核，如Gabor核、Gabor-Einstein核，这些核能够通过方向和尺度因子来实现卷积核的衍生，也可以使通过自学习而得到半手调核，学习过程和神经网络的卷积核同步进行，不过由于整个神经网络只需要一个手调核，所以这个自学习的过程不会使原神经网络的训练过程时间增长，而且自学习的核对于原来的卷积核的增加的倍数更加自由，这个方法同时对图片提取的特征有增强的作用，所以在减少学习参数的同时，可以增加神经网络的性能。

总之，本发明方法对神经网络做出了极大优化，使得网络所须学习的核总量减少，此外，通过调制产生子卷积核对原始网络结构中冗余学习的核通过进行编排，还能够达到模型压缩的目的。

附图说明

为了更加清楚地描述本专利，下面提供一幅或多幅附图，这些附图旨在对本专利的背景技术、技术原理和/或某些具体实施方案做出辅助说明。需要注意的是，这些附图可以给出也可以不给出一些在本专利文字部分已有描述且属于本领域普通技术人员公知常识的具体细节；并且，因为本领域的普通技术人员完全可以结合本专利已公开的文字内容和/或附图内容，在不付出任何创造性劳动的情况下设计出更多的附图，因此下面这些附图可以涵盖也可以不涵盖本专利文字部分所叙述的所有技术方案。此外，这些附图的具体内涵需要结合本专利的文字内容予以确定，当本专利的文字内容与这些附图中的某个明显结构不相符时，需要结合本领域的公知常识以及本专利其他部分的叙述来综合判断到底是本专利的文字部分存在笔误，还是附图中存在绘制错误。特别地，以下附图均为示例性质的图片，并非旨在暗示本专利的保护范围，本领域的普通技术人员通过参考本专利所公开的文字内容和/或附图内容，可以在不付出任何创造性劳动的情况下设计出更多的附图，这些新附图所代表的技术方案依然在本专利的保护范围之内。

图1是本发明实施例中一种卷积神经网络模型的结构示意图；

图2是本发明实施例中对卷积核的调制方法示意图；

图3是本发明实施例中调制核的前向卷积过程示意图。

具体实施方式

为了便于本领域技术人员对本专利技术方案的理解，同时，为了使本专利的技术目的、技术方案和有益效果更加清楚，并使权利要求书的保护范围得到充分支持，下面以具体案例的形式对本专利的技术方案做出进一步的、更详细的说明。

一种卷积神经网络构建方法，其在卷积神经网络前向传递时，在每个原始卷积核上，通过手调核与原始卷积核的点乘，实现对原始卷积核的调制，得到调制卷积核，并用该调制卷积核代替原始卷积核进行神经网络的前向传递，以达到特征增强的效果。

可选的，所述手调核为Gabor核。

可选的，所述手调核为学习出来的手调核，在卷积神经网络的反传过程中，也对手调核进行更新，使其进行自学习，由此得到调制效果较好的手工核。

可选的，通过复制N次的方式将输入卷积神经网络的二维矩阵扩展为三维矩阵，并以三维矩阵作为该卷积神经网络的输入特征图，N为输入二维矩阵的通道数，且输入二维矩阵的通道数与手工核的通道数相等。

可选的，所述三维矩阵输入卷积神经网络后，经过前向传递过程，得到输出特征向量，并通过损失函数计算出损失；得到损失后，卷积神经网络反传更新，损失从最深层传递到最浅层；每层更新时，仅更新本体核，只有在损失反传到最浅层时，才更新手调核。

图1所示为一种神经网络结构，其包括输入层、调制过的卷积层、池化层、全连接层、激活层、Dropout层和输出层。其中，输入层对输入的图片进行扩展，得到多通道的输入，输入扩展层后是四个加入手工调制核的卷积层，每个卷积层中先进行卷积而后再对数据进行归一化，然后输入最大池化层，将池化结果输入到激活层，如此一个卷积层结束，只有第四个卷积层没有最大池化层，其他与前三个卷积层一样，此外，将第四个卷积层的输出输入到最大池化层(Maxpooling)中，接下来是全连接层和dropout层，最后是输出层。

在训练时，在每次迭代的训练过程中，通过反传计算更新所有卷积层和全连接层的权值进行迭代，直到训练完成。

整个卷积神经网络的构建包括以下过程：

1、卷积核的调制过程

调制过程主要涉及本体核(相当于载波)及手调核(相当于信息波)两个基本元素，如图2所示，本体核为三维卷积核，其维度为N×W×W，其中N为通道数，W为卷积核的尺寸。为了使通道数在卷积过程中能够保持一致，手调核由N个W×W大小的手工核组成，由此一组本体核经过手调核的调制后生成的调制核的维度为N×N×W×W。在一组调制核中，每一步都需要学习更新的是本体核，而经过调制后产生的调制核不需要更新，参数大大减少。

在N通道调制过程中，用H(u)表示手调核的第u个通道的矩阵，u∈(1,N)，H(u)的维度为W×W。调制核的具体产生过程如公式(1)所示，C_i，0表示本层中的第i个本体核，其维度为N×W×W，C_i，u代表调制后的调制核。我们通过一种逐层点乘的方式对本体核C_i，0进行调制，从而得到N个维度为N×W×W的子核，这个过程可用下面的公式表示为：

2、调制网络的前向卷积

按照过程1中生成调制核的方式，一个本体核通过手调核调制后，能够生成一组维度为N×N×W×W的调制核，第一个N对应手调核的通道数，第二个N对应本体核的通道数。

在网络里，调制核用来生成特征图，用表示输出特征图，则输出特征图为：

其中，conv表示卷积运算，C_i，u是由H(u)手调核生成的第i个调制核，F是该输出特征图的输入特征图，的各个通道由下述式子得到：

其中，(n)表示的是F和C_i，u的第n个通道，指的是的第k个响应，其中i与C_i，u中的i的意义一致。调制核的前向卷积过程如图3所示，在这里，以输入特征图尺寸为1×4×32×32为例，如果有10个调制核，每个调制核的通道数为4，则输出特征图的尺寸是10×4×30×30。其他尺寸的输入过程也如上述过程。

3、卷积神经网络模型前向卷积过程

如图1所示，在这里以手调核的通道数是以4为例，手调核的尺寸是4×3×3，原始卷积核的大小为4×3×3，则用手调核调制出来的调制核的尺寸为4×4×3×3，表示为图中的调制核卷积层。

输入一个图像矩阵，假如这个图像的尺寸为32×32，为了和后面的调制核进行卷积，将输入的图像矩阵复制同样的4分，把输入矩阵变为三维输入，则输入网络的扩展后的图像矩阵尺寸为4×32×32。

以图1中的神经网络结构为例，但不局限于图中的结构。输入图片后，输入到调制核卷积层中，第一个调制核卷积层是由20个原始卷积核通过手工核调制出来的，第一个调制核卷积层后有一个归一化层(BatchNormlization)、最大池化层(Max Pooling)、非线性激活层(ReLu)，得到的第一个输出特征图的尺寸是20×4×15×15。将第二个特征图作为第二个调制核卷积层的输入特征图，第一个调制核卷积层是由40个原始卷积核通过手工核调制出来的，第二个调制核卷积层后有归一化层(BatchNormlization)、池化层(MaxPooling)、激活层(ReLu),第二个卷积层得到的输出特征图的尺寸大小为40×4×6×6。将第二个卷积层的输出特征图作为第三个调制核卷积层的输入特征图，第三个调制核卷积层是由80个原始卷积核通过手工核调制出来的，第三个调制核卷积层和前两层的结构一样，得到的输出特征图的尺寸为80×4×3×3。接着将该特征图作为输入特征图输入第四个调制核卷积层中，第四个调制核卷积层是由160个原始卷积核通过手工核调制出来的，第四层调制核卷积层和前面三层略有不同，后面只有归一化层和激活层，得到的输出特征图的尺寸为160×4×1×1。其中，每层的调制核卷积层的前向卷积方式如过程2中所提到的方式。至此四个卷积层结束，将得到的特征图输入到一个池化层(Max Pooling)中，得到的输出特征图的尺寸是160×1，然后将该特征图输入到全连接层中，该全连接层的输出的特征图的尺寸为1024×1，为一个列向量，通过一个Dropout层后，得到最终的输出特征图。

4、卷积神经网络模型的梯度反传

在所提出的新的卷积神经网络模型中，需要被学习更新的参数为本体卷积核C_i，0。如果手调核不选用传统手调核(如Gabor核等)而采用学习出来的手调核，则须学习的的参数还包括大小为4×3×3的手调核H(u)。

4.1原始卷积核C_i，0的学习更新

在本卷积神经网络中，每层的原始卷积核C_i，0都需要更新，定义δ为原始卷积核C_i，0的梯度，即：

其中，L表示训练误差。

在反传的过程中，原始卷积核的梯度是分别计算其各通道调制子核的梯度，并叠加得到，即：

进一步，可以得到：

C_i，0＝C_i，0＝ηδ (6)

其中，η表示学习率。

4.2手工核H(u)的学习更新

在本卷积神经网络中，每次迭代时，只需要在反传到第一层卷积层时更新手工核H(u)，定义E_j是反传到第一层的第j个输出特征图的误差，定义ε是手工核的梯度。

在反传的过程中，手工核的梯度是通过计算每个输出特征图和输入特征图对应的每个通道的调制子核的梯度，并叠加得到，即：

式(7)中，Σ_j,u表示针对j和u的所有取值对后面的表达式的值进行累加，其中，j和u的下界都为1。

进一步，我们可以得到：

H(u)＝H(u)-ηε (8)

其中，更新手工核的学习率和调制核的学习率相同。式(8)中的等号表示赋值。

通过对手工核的更新，可以达到手工核自学习的目的，使网络的性能更好。

本发明将深度模型和手调特征进行了一定调制融合，不仅可以减少模型内存，同时也能够实现特征增强，对于改善深度网络结构有着非常好的应用前景。这种融合方式具体表现在卷积核的处理上，形成一种新的调制卷积核，如Gabor调制核，通过尺度和方向因子增加模型提取特征的能力。

此外，传统的DCNNs在训练过程中通常存在冗余学习的卷积核，当神经网络的层数增加时，网络的数据会迅速增加，所以训练好后，保存的模型也会非常占存储空间。而本发明中调制方式的加入使得网络所须学习的核总量减少，通过调制产生子卷积核对原始网络结构中冗余学习的核通过进行编排，能够达到模型压缩的目的。

需要理解的是，上述对于本专利具体实施方式的叙述仅仅是为了便于本领域普通技术人员理解本专利方案而列举的示例性描述，并非暗示本专利的保护范围仅仅被限制在这些个例中，本领域普通技术人员完全可以在对本专利技术方案做出充分理解的前提下，以不付出任何创造性劳动的形式，通过对本专利所列举的各个例采取组合技术特征、替换部分技术特征、加入更多技术特征等等方式，得到更多的具体实施方式，所有这些具体实施方式均在本专利权利要求书的涵盖范围之内，因此，这些新的具体实施方式也应在本专利的保护范围之内。

此外，出于简化叙述的目的，本专利也可能没有列举一些寻常的具体实施方案，这些方案是本领域普通技术人员在理解了本专利技术方案后能够自然而然想到的，显然，这些方案也应包含在本专利的保护范围之内。

出于简化叙述的目的，上述各具体实施方式对于技术细节的公开程度可能仅仅达到本领域技术人员可以自行决断的程度，即，对于上述具体实施方式没有公开的技术细节，本领域普通技术人员完全可以在不付出任何创造性劳动的情况下，在本专利技术方案的充分提示下，借助于教科书、工具书、论文、专利、音像制品等等已公开文献予以完成，或者，这些细节是在本领域普通技术人员的通常理解下，可以根据实际情况自行作出决定的内容。可见，即使不公开这些技术细节，也不会对本专利技术方案的公开充分性造成影响。

总之，在结合了本专利说明书对权利要求书保护范围的解释作用的基础上，任何落入本专利权利要求书涵盖范围的具体实施方案，均在本专利的保护范围之内。

Claims (4)

1.一种卷积神经网络构建方法，其特征在于，在卷积神经网络前向传递时，在每个原始卷积核上，通过手调核与原始卷积核的点乘，实现对原始卷积核的调制，得到调制卷积核，并用该调制卷积核代替原始卷积核进行神经网络的前向传递，以达到特征增强的效果。

2.根据权利要求1所述的卷积神经网络构建方法，其特征在于，所述手调核为学习出来的手调核，在卷积神经网络的反传过程中，也对手调核进行更新，使其进行自学习，由此得到调制效果较好的手工核。

3.根据权利要求1所述的卷积神经网络构建方法，其特征在于，通过复制N次的方式将输入卷积神经网络的二维矩阵扩展为三维矩阵，并以三维矩阵作为该卷积神经网络的输入特征图，N为输入二维矩阵的通道数，且输入二维矩阵的通道数与手工核的通道数相等。

4.根据权利要求3所述的卷积神经网络构建方法，其特征在于，所述三维矩阵输入卷积神经网络后，经过前向传递过程，得到输出特征向量，并通过损失函数计算出损失；得到损失后，卷积神经网络反传更新，损失从最深层传递到最浅层；每层更新时，仅更新本体核，当损失反传到最浅层时，再更新手调核。