CN112418397B - 一种基于轻量级卷积神经网络的图像分类方法 - Google Patents

Abstract

本发明涉及一种基于轻量级卷积神经网络的图像分类方法，属于计算机深度学习领域。该方法设计一种轻量级卷积单元，具体包括：S1：采用逐点卷积对输入特征图进行通道扩张；S2：采用深度卷积对输入特征图的通道进行分组；S3：批量标准化：对输入层和每一中间层的输入做标准化处理；S4：将输入特征图与批量标准化后的特征图进行concat拼接；S5：采用逐点卷积对输出通道进行收缩；S6：将经过步骤S5得到的特征图通过激活函数R_Hard_Swish。本发明相较于大型卷积神经网络，参数量和计算量大幅减少，在准确度性能的表现上相较于其他轻量级卷积神经网络而言效果更好。

Description

一种基于轻量级卷积神经网络的图像分类方法

技术领域

本发明属于计算机深度学习领域，涉及一种轻量级卷积神经网络的设计方法。

背景技术

卷积神经网络广泛应用于各种计算机视觉任务中，包括图像分类、目标检测和语义分割等。为了获得更高的准确度，最直接的方法是增加卷积神经网络的深度，例如AlexNet和VGGNet。然而，随着网络深度的增加，卷积神经网络往往含有大量的训练参数，导致计算量和模型体量大幅增加。因此，训练和部署深度学习模型仍然是一项困难的任务，需要大量的计算资源和存储资源。

随着智能化的移动端设备、物联网设备和嵌入式设备的发展，在这些设备上训练和部署卷积神经网络模型的需求越来越迫切，但这类设备计算资源和存储资源有限，ResNet这类大型卷积神经网络不适用于这类设备。

近年来，许多研究集中在构建轻量级的、高效的神经网络上，包括Exception、SqueezeNet、SqueezeNext、MobileNet系列和ShuffleNet系列等。SqueezeNet和SqueezeNext通过1×1的卷积将输入的特征图分为两组，再将两组卷积得到的特征图通过拼接和1×1卷积进行整合来替代传统卷积操作；MobileNet系列将每次卷积操作分为深度可分离卷积和逐点卷积两步；ShuffleNet系列将逐点分组卷积、通道混洗、深度可分离卷积、再次逐点分组卷积和残差连接四步作为一个基本单元替代传统卷积操作。

对以上方案进行总结，可以发现这些轻量级模型都包含了分组卷积和通道整合两个基本组成部分。分组卷积是通过给特征图进行分组再分别进行卷积操作，而不是将前一层输出的所有特征图进行卷积从而节省计算量，因此，分组卷积实际上成为轻量级网络的标准组件。虽然分组卷积可以大大减少神经网络的计算量，但由于每个组都是独立卷积的，因此也会导致组与组之间存在信息障壁，为了解决这个问题，在分组卷积之后还需要进行通道整合的操作。并且，这些轻量级卷积神经网络深度较浅，提取到的特征信息有限，在准确度上仍然有可提升的空间。

发明内容

有鉴于此，本发明的目的在于提供一种轻量级卷积神经网络的设计方法，解决深度较深的大型卷积神经网络难以在计算资源和存储资源有限的移动智能端设备、嵌入式设备和物联网设备等训练与部署，且现有的轻量级卷积神经网络在准确度性能上仍有较大提升空间的问题。结合深度可分离卷积和特征重用设计了一种卷积单元用于替代传统卷积操作，并改进Hard_Swish激活函数以解决神经元死亡的问题。不仅能够在准确度性能上优于其他深度较浅的轻量级卷积神经网络，而且能够在大型卷积神经网络上大幅减少参数量和计算量，使得卷积神经网络应用于智能移动端设备、嵌入式设备和物联网设备成为了可能。

为达到上述目的，本发明提供如下技术方案：

一种轻量级卷积神经网络的设计方法，设计一种轻量级卷积单元，具体包括以下步骤：

S1：采用逐点卷积对输入特征图进行通道扩张；

S2：采用深度卷积对输入特征图的通道进行分组；

S3：批量标准化：对输入层和每一中间层的输入做标准化处理；

S4：concat拼接：将输入特征图与批量标准化后的特征图进行concat拼接；

S5：采用逐点卷积对输出通道进行收缩；

S6：将经过步骤S5得到的特征图通过激活函数R_Hard_Swish。

进一步，步骤S2中，所述深度卷积具体包括：将一个卷积核为N×N的深度卷积拆分成一个卷积核为1×N的深度卷积和一个卷积核为N×1的深度卷积。

进一步，步骤S4中，设输入特征图为x，中间处理过程得到的是f(x)，concat拼接得到的是[x||f(x)]。

进一步，步骤S5中，进行收缩后的输出通道数为原大型卷积神经网络卷积初期阶段输出通道数乘以参数α。

进一步，步骤S6中，激活函数R_Hard_Swish的计算公式为：

R_Hard_Swish(x)＝Hard_Swish(x)+β×x

其中，

x表示输入特征图，ReLU6表示ReLU6激活函数，β取值范围为(0,1)。

本发明的有益效果在于：本发明设计的轻量级卷积单元，首先对输入特征图进行通道扩张，提升深度卷积提取特征信息的效果；将输入特征图与输出特征图进行concat拼接，实现对特征信息的重复利用以避免提取特征信息有限的情况发生；通过逐点卷积进行降维，有效减少参数量和计算量；将激活函数Hard_Swish函数进行改进，得到带有冗余相的R_Hard_Swish激活函数，以解决神经元无法更新参数的神经元死亡问题。本发明方法可以用于使用传统卷积方式且深度较深的大型卷积神经网络，相较于大型卷积神经网络，参数量和计算量大幅减少，并且由于深度相较于其他轻量级卷积神经网络而言更深并且使用了特征重用，在准确度性能的表现上相较于其他轻量级卷积神经网络而言效果更好。

本发明主要是针对深度较深的大型卷积神经网络在智能移动端设备、嵌入式设备和物联网设备上难以训练和部署，且当前的轻量级卷积神经网络在准确度性能上仍有提升空间的问题，结合深度可分离卷积和特征重用设计了一种卷积单元用于替代传统卷积操作，并改进了Hard_Swish激活函数以解决神经元死亡的问题。不仅能够在准确度性能上优于其他深度较浅的轻量级卷积神经网络，而且能够在大型卷积神经网络上大幅减少参数量和计算量，使得卷积神经网络应用于智能移动端设备、嵌入式设备和物联网设备成为了可能。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明轻量级卷积单元的流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1，为本发明设计的一种轻量级卷积单元的流程示意图，本发明利用该轻量级卷积单元替代传统卷积操作。该轻量级卷积单元的设计方法，具体包括以下步骤：

1)逐点卷积：

逐点卷积本质上是使用1×1的卷积核进行卷积操作，除了可以整合通道，也可以用来改变输出通道数。假设输入通道数为N，输出通道数为M，输入特征图尺寸为F×F，参数量为1×1×M，计算量为F×F×N×M。深度卷积本身并不能改变卷积通道数，导致在卷积通道数较少的网络初期阶段提取特征信息的效果并不是很好，因此在步骤1使用逐点卷积进行通道扩张，提升深度卷积提起特征的效果。

2)深度卷积：

深度卷积是分组卷积的一种方式，通过输入特征图的通道进行分组。假设输入通道数为N，特征图尺寸为F×F，卷积核大小为K×K，此时参数量为K×K×N，计算量为F×F×N×K×K。步骤2与步骤4的操作实际上是将一个卷积核为3×3的深度卷积拆分成了一个卷积核为1×3的深度卷积和一个卷积核为3×1的深度卷积，这样的操作能在得到相同的卷积结果的前提下减少参数量。

3)批量标准化BatchNormalization(momentum＝0.9，epsilon＝10^-5)：

在统计机器学习中算法中，一个常见的问题是协变量偏移，协变量可以看作是输入变量。一般的深度神经网络都要求输入变量在训练数据和测试数据上的分布是相似的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。传统的深度神经网络在训练时，随着参数的不断更新，中间每一层输入的数据分布往往会和参数更新之前有较大的差异，导致网络要去不断的适应新的数据分布，进而使得训练变得异常困难，我们只能使用一个很小的学习速率和精调的初始化参数来解决这个问题。而且这个中间层的深度越大时，这种现象就越明显。由于是对层间数据的分析，也即是内部，因此这种现象叫做内部协变量偏移。为了解决这个问题，Sergey Ioffe’s和Christian Szegedy’s在2015年首次提出了批量标准化的想法。该想法是：不仅仅对输入层做标准化处理，还要对每一中间层的输入(激活函数前)做标准化处理，使得输出服从均值为0，方差为1的正态分布，从而避免内部协变量偏移的问题。之所以称之为批标准化，是因为在训练期间，仅通过计算当前层一小批数据的均值和方差来标准化每一层的输入。

4)concat拼接：

为了解决其他轻量级卷积神经网络提取特征信息有限的不足，在每个卷积单元都使用了特征重用，借鉴于DenseNet的思想，这里选择的是concat拼接策略而非add相加策略，即设输入特征图为x，中间处理过程得到的是f(x)，concat拼接得到的是[x||f(x)]。

5)concat拼接之后的逐点卷积：

concat拼接之后使用逐点卷积对输出通道进行收缩，达到减少参数量和计算量的效果。这里的逐点卷积通道数选择为原大型卷积神经网络卷积初期阶段的输出通道数乘以参数α，这里的α可以调整输出通道数，进而调整整个网络的参数量，例如VGGNet的卷积初期阶段的输出通道数为64，则concat拼接之后的逐点卷积输出通道数为64×α。

6)激活函数R_Hard_Swish：

在2017年Google提出了Swish激活函数，Swish(x)＝x×sigmoid(x)，其中

并且通过实验证明Swish激活函数在准确度的表现上优于ReLU激活函数。但由于Swish激活函数涉及到指数运算，会导致计算量的增加，后续Google提出了Hard_Swish函数，

通过计算量较少的ReLU6函数来近似拟合Swish函数，但Hard_Swish函数在负半轴恒等于0，反向传播中梯度也是0，权重就不会被更新，导致神经元不再学习，即产生神经元死亡现象，所以针对神经元死亡现象对Hard_Swish函数进行改进，在Hard_Swish函数增加冗余相β×x，β取值范围为(0,1)，R_Hard_Swish(x)＝Hard_Swish(x)+β×x，这里取经验值0.1。

对于参数量和计算量的计算：假设输入与输出特征图尺寸均为F×F，输入通道数为N，输出通道数为M，大型卷积神经网络卷积初期阶段输出通道数为N₀，传统卷积方式的卷积核大小为3×3，则单次传统卷积方式的参数量为3×3×M，即9×M，计算量为F×F×N×M×3×3，即9×N×M×F×F。在本发明提出的卷积单元中，单次卷积单元操作的参数量为1×1×M+3×1×M+1×3×M+1×1×N₀，即7×M+N₀，计算量为F×F×N₀×M+F×F×3×1×M+F×F×1×3×M+F×F×(N₀+M)×N₀，即(6M+2×M×N₀+N₀ ²)×F×F，其中N₀小于等于M与N，尤其是到网络深层的时候N₀会远小于M与N，所以可以比较得到本发明所提出的改进方法在参数量和计算量上相较于原大型神经网络而言大幅减少。

实施例1：使用本发明设计的轻量级卷积神经网络单元结合VGG16网络结构所构成的轻量级卷积神经网络处理图像分类问题的步骤如下：

(1)将VGG16网络中的传统卷积替换为本发明设计的轻量级卷积单元；

(2)将全连接层替换为全局均值池化进一步降低参数量与计算量；

(3)使用训练数据集对网络进行训练，得到分类模型。

(4)使用训练完毕的分类模型对待分类图像进行分类。

由于本发明设计的轻量级卷积神经网络对计算资源和存储资源的硬件要求远低于大型卷积神经网络，所以可以适用于当前和今后的物联网设备和嵌入式设备这类算力和存储能力有限的硬件当中，并在这类设备上处理图像分类、人脸识别、目标检测等图像相关领域问题。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于轻量级卷积神经网络的图像分类方法，将待训练图像数据集输入到轻量级卷积神经网络中进行训练，得到分类模型；然后使用训练完毕的分类模型对待分类图像进行分类；其特征在于，所述轻量级卷积神经网络包括轻量级卷积单元，构建该卷积单元具体包括以下步骤：

S1：采用逐点卷积对输入特征图进行通道扩张；

S2：采用深度卷积对输入特征图的通道进行分组；

S3：批量标准化：对输入层和每一中间层的输入做标准化处理；

S4：concat拼接：将输入特征图与批量标准化后的特征图进行concat拼接；

S5：采用逐点卷积对输出通道进行收缩；

S6：将经过步骤S5得到的特征图通过激活函数R_Hard_Swish；

激活函数R_Hard_Swish的计算公式为：

R_Hard_Swish(x)＝Hard_Swish(x)+β×x

其中，

x表示输入特征图，ReLU6表示ReLU6激活函数，β取值范围为(0,1)。

2.根据权利要求1所述的图像分类方法，其特征在于，步骤S2中，所述深度卷积具体包括：将一个卷积核为N×N的深度卷积拆分成一个卷积核为1×N的深度卷积和一个卷积核为N×1的深度卷积。

3.根据权利要求1所述的图像分类方法，其特征在于，步骤S4中，设输入特征图为x，中间处理过程得到的是f(x)，concat拼接得到的是[x||f(x)]。

4.根据权利要求1所述的图像分类方法，其特征在于，步骤S5中，进行收缩后的输出通道数为原大型卷积神经网络卷积初期阶段输出通道数乘以参数α。

Images