CN116129178A - 一种应用于终端设备的轻量化图像分类方法及终端设备 - Google Patents

Abstract

本发明公开了一种应用于终端设备的轻量化图像分类方法及终端设备，提取多帧样本图像；利用所述多帧样本图像训练轻量化网络模型，得到图像分类模型；其中，所述轻量化网络模型获取过程包括：在指定裁剪参数空间内按照既定比例对深度网络模型每层进行随机初始化通道裁剪，固定裁剪后的深度网络模型参数；将所述深度网络模型的推理精度作为灰狼算法的输入，更新所述深度网络模型每层的通道裁剪比例系数，得到裁剪后的深度网络模型，即轻量化网络模型。本发明模型占用资源少，解决了现有技术中小型设备难以承载大负荷而无法加在图像处理算法的问题，因此本发明的方法适用于嵌入式设备或其余小型移动载体。

Description

一种应用于终端设备的轻量化图像分类方法及终端设备

技术领域

本发明涉及图像处理领域，特别是一种应用于终端设备的轻量化图像分类方法及终端设备。

背景技术

现有的深度学习系统已经在诸如场景监控、智能工厂、无人系统以及医疗诊断等常见应用中扮演着越来越重要的角色。而深度学习系统相关性能的崛起主要得益于深度学习网络的成功，尤其是卷积神经网络的快速发展，它们为诸多的实际应用场景提供了先进的性能支撑。在目前大数据时代的背景环境下，一方面海量数据为深度学习网络提供了大量的训练数据集，另一方面复杂的深度网络模型大大增强了数据的拟合能力，从而使得深度学习方法在某些应用中可以取得传统方法无法企及的成就。而这些成就都依赖于复杂的深度网络模型，以及数以亿计的模型参数，具有高性能计算能力的GPU和TPU同样发挥了重要作用。随着应用任务的日益精化，所需的网络结构也日益复杂化，将会引入更多的网络层数，带来的是模型大小，计算复杂度以及运行时间呈幂级倍数增长，访问内存的大量占用以及训练推理过程能耗的巨大需求。然而近年来，实时应用程序和小型移动设备得到了广泛的应用，因此如何将深度网络的优越应用性能成功移植到移动设备上成为了极大的难题。我们思考如何在有限资源(内存，CPU，带宽和能耗)的设备上有效地嵌入这些深度网络模型的性能，发现其中主要存在以下几个难点：

(一)模型大，常用的深度模型占用了大量内存资源，如GoogleNet的模型大小达到了50MB，ResNet-101的模型则有200M大小，以及VGG-16的大小则超过了500M，对于小型移动设备难以承载以上大小的负荷；

(二)计算量大，当前常用的深度网络模型都有着上千万甚至上亿的参数量，每次训练和推断需要进行大量的浮点数乘法运算；

(三)能耗大，频繁且大量的内存访问以及GPU等加速计算资源消耗，需要大量的电量作为支撑。因此我们需要考虑在不影响深度网络模型的性能下对模型进行压缩和加速，有效的压缩方法必定能够对人工智能相关的分布系统、嵌入设备或移动载体产生显著的影响。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种应用于终端设备的轻量化图像分类方法及终端设备，降低图像分类过程的计算量。

为解决上述技术问题，本发明所采用的技术方案是：一种应用于终端设备的轻量化图像分类方法，包括以下步骤：

S1、提取多帧样本图像；

S2、利用所述多帧样本图像训练轻量化网络模型，得到图像分类模型；

其中，所述轻量化网络模型获取过程包括：

S2.1、在指定裁剪参数空间内按照既定比例对深度网络模型每层进行随机初始化通道裁剪，固定裁剪后的深度网络模型参数；

S2.2、将所述深度网络模型的推理精度作为灰狼算法的输入，更新所述深度网络模型每层的通道裁剪比例系数，得到裁剪后的深度网络模型，即轻量化网络模型。

本发明中，推理精度指的是利用裁剪后的深度网络模型进行标准化数据集分类测试得到的测试精度。

本发明首先将每个卷积层的保留通道数目比例限制约束在指定空间内，从而大大减少需搜索的次数。然后，将最优剪枝结构的搜索问题转化为优化问题，以减少人为干扰。最后，结合灰狼算法和剪枝后的子模型推理精度作为判断准则，进行自动求解得到最优模型结构。本发明极大地降低了图像分类的计算量和复杂度，减少了允许时间，可以适用于嵌入式设备。

本发明中，步骤S2.2的具体实现过程包括：

A)随机产生参与搜索的灰狼种群X_i,j：X_i,j～U(lb,ub)，i为灰狼种群数且i∈{1,2…N}，N为种群总数，j为种群维度，种群维度即网络层数，U为随机函数，lb和ub为搜索区间的上界和下界；初始化参与搜索的灰狼种群X_i,j中各灰狼的位置；指定各灰狼对应的适应度为所述固定裁剪后的深度网络模型的推理精度；

B)利用下式搜索候选灰狼的位置X(t)：X(t+1)＝X_p(t)-A·D，D＝|C·X_p(t)-X(t)|；其中，D表示候选灰狼与猎物间的距离，t为当前的迭代次数，X_p(t)为猎物位置，A和C为调节系数；

C)判断是否满足迭代终止条件，若是，则输出最优个体以及该最优个体的适应度大小，结束；否则，计算候选灰狼的适应度，进入步骤D)；

D)当适应度增加时，利用下式更新候选灰狼位置：X(t+1)＝(1/3)((X_W-A1DW)+(XY-A2DY)+(XZ-A3DZ)1-t/T+(XW-A1DW)·(t/T)；其中，X(t)表示当前候选灰狼位置，X(t+1)表示下一时刻候选灰狼位置，X_W、X_Y和X_Z分别表示W狼、Y狼、Z狼的当前位置A₁、A₂、A₃以及C₁、C₂、C₃为随机变量，D_W、D_Y、D_Z分别表示候选灰狼与灰狼W、Y、Z之间的移动距离，D_W＝|C₁·X_W-X(t)|，d_Y＝|C₂·X_Y-X(t)|，D_Z＝|C₃·X_Z-X(t)|；所述W狼、Y狼、Z狼分别对应最优的个体、优的个体、次优的个体；灰狼位置对应深度网络模型网络层的剪枝率；T为设定的最大迭代次数；

E)更新候选灰狼的适应度值，返回步骤C)；

F)计算各网络层的各个通道的L1范数，对网络各层中参数值L1范数低于网络层剪枝率的通道予以剪枝，对剪枝后的深度网络模型使用适应性批量标准化方法更新批量标准化层，得到轻量化网络模型

A＝2a·r₁-a，其中，r₁是0～1之间的随机向量，a＝2e^-t/T,T为设定的最大迭代次数。

C＝2·r₂，r₂是0～1之间的随机向量。

本发明中，所述深度网络模型为在损失函数中添加L1范数训练后得到的模型；其中，添加L1范数后损失函数表达式为：

Loss*为深度网络标准损失函数，K为网络权值集合，||·||₁为L1范数，γ为惩罚因子。

本发明中，步骤S2之后，为了进一步提高模型精度，还包括：

S3、调整步骤S2.2获得的轻量化网络模型的参数，得到最终的轻量化网络模型。

本发明中，步骤S2之后，为了进一步提高模型精度，还包括：将所述测试集数据作为所述网络分类模型的输入，判断所述网络分类模型是否满足精度要求。

步骤S2之后，还包括：将图像输入所述网络分类模型，获得图像类别。

作为一个发明构思，本发明还提供了一种终端设备，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序，以实现本发明上述方法的步骤。

作为一个发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；所述计算机程序/指令被处理器执行时实现本发明上述方法的步骤。

与现有技术相比，本发明所具有的有益效果为：

1、本发明模型占用资源少，解决了现有技术中小型设备难以承载大负荷而无法加在图像处理算法的问题，因此本发明的方法适用于嵌入式设备或其余小型移动载体；

2、本发明计算量小，由于对网络进行了剪枝操作，极大地减少了网络的参数量，因此训练和预测过程中不需要进行大量的浮点数乘法运算；

3、本发明能耗小，由于本发明的模型占用资源少，计算量小，因此解决了现有技术频繁且大量的内存访问以及GPU等加速计算资源消耗，需要大量的电量作为支撑的问题。

附图说明

图1为CIFAR-10数据示例，该数据集包含10种类别；

图2为本发明实施例1方法原理图；

图3为本发明实施例1灰狼算法实现原理图；

图4为本发明实施例1搜索流程图；

图5为本发明实施例1方法框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中，术语“第一”、“第二”和其它类似词语并不意在暗示任何顺序、数量和重要性，而是仅仅用于对不同的元件进行区分。在本文中，术语“一”、“一个”和其它类似词语并不意在表示只存在一个所述事物，而是表示有关描述仅仅针对所述事物中2的一个，所述事物可能具有一个或多个。在本文中，术语“包含”、“包括”和其它类似词语意在表示逻辑上的相互关系，而不能视作表示空间结构上的关系。例如，“A包括B”意在表示在逻辑上B属于A，而不表示在空间上B位于A的内部。另外，术语“包含”、“包括”和其它类似词语的含义应视为开放性的，而非封闭性的。例如，“A包括B”意在表示B属于A，但是B不一定构成A的全部，A还可能包括C、D、E等其它元素。

实施例1

本实施例所提方法面向深度图像分类识别网络，验证数据集主要为CIFAR10\CIFAR100\ImageNet；深度网络模型大大增强了机器对图像的自动识别能力，然而复杂深度网络随着性能不断提升，模型大小势必不断增加，计算复杂度以及运行时间呈幂级倍数增长，对于嵌入式设备非常不友好。本实施例所提方法将对此类网络进行压缩(通道剪枝)，使其(模型大小，计算量以及能耗)适应于嵌入式设备。

目前深度网络轻量化方法大致分为以下几类(如下表所示)：参数裁剪和共享，低秩近似分解、低比特量化方法、特殊加速网络结构设计以及知识蒸馏等。

表1深度学习网络模型压缩和加速相关方法总结

本实施例采用的方法属于第一类“参数裁剪”，对每个卷积层进行通道裁剪。通常的，现有的剪枝方法大多侧重于通过衡量重要性程度或基于稀疏正则化作为损失函数惩罚项来选择被裁剪的通道，这是次优剪枝的缺陷。本实施例提出了一种新的基于改进灰狼算法的通道剪枝方法，其目的是有效地找到最优的剪枝后的网络结构，即每层的通道数目，而不是像之前那样直接简单选择“重要”的或者“非稀疏”的通道。改进灰狼算法的本质是一种优化搜索算法。

传统的搜索算法显然是非常耗费时间的。特别是对于现在越来越深的深度网络模型，动辄几十层甚至上百层，在实数剪枝率空间内逐层对网络进行搜索剪枝，是相当耗时耗力的。为了解决深层网络中难以处理的巨大剪枝结构组合问题，我们首先将每个卷积层的保留通道数目比例限制约束在指定空间内，从而大大减少需搜索的次数。然后，将最优剪枝结构的搜索问题转化为优化问题，以减少人为干扰。最后，结合改进灰狼算法和剪枝后的子模型推理精度作为判断准则，进行自动求解得到最优子模型结构，并进行微调得到最佳精度。

本实施例主要面向图像分类问题(亦可用于目标检测网络)，主要在CIFAR-10、CIFAR-100以及ImageNet数据集上评价所提算法。CIFAR-10数据集是由包含10类的6万张大小为32*32的图像组成，其中包含5万张训练图像和1万张测试图像。整个数据集分为五个训练批次和一个测试批次，每个批次具有1万张图像。图1为该数据集中的各个类，以及来自每个类的10个随机图像。CIFAR-100则类似于CIFAR-10，不同之处在于它拥有更多的100个类别，但是每个类别仅包含600张图像。每个类别只有500张训练图像和100张测试图像，远远少于CIFAR-10，所以相比较于CIRAR-10，CIFAR-100的训练难度更大，测试精度更低。

图1中，CIFAR-10数据集包含10种类别。包含的类与类之间完全相斥，比如汽车和卡车之间完全没有重叠部分。相比CIFAR-10,ImageNet数据集图片数量更多，分辨率更高，含有的类别更多(高达上千个图像类别)，图片中含更多的无关噪声和变化，因此识别难度比CIFAR-10高得多，一般分类实验采用该数据集的子数据集，含有1000类目标。

如图2所示，本实施例的实现过程概括如下：针对训练好的深度网络模型，在指定裁剪参数空间内按照既定比例对网络每层进行随机初始化通道裁剪，固定裁剪后的模型参数，使用适应性批量标准化，将该模型的推理精度作为改进灰狼个体的适应度A；然后根据改进灰狼算法迭代更新每层的通道裁剪比例参数；接着得到最终的适应度A^*以及网络的各层裁剪率；最后对裁剪后的网络进行微调训练，获得最优轻量化网络模型结果。

对于任意一个包含n层的深度卷积网络S，将其原始结构表示为S＝[c₁,c₂,…,c_n],其中c_i(i＝1…n)表示该网络第n层的通道数量，每次经过裁剪之后得到的网络结构设为S′＝[c₁′,c₂′,…,c_n′]，网络每层的剪枝率设为r＝[r₁,r₂,…,r_n]；优化问题为在给定的测试集和训练集情况下，寻找最优剪枝率r的同时以获得最佳的网络推理精度，因此该问题可以归纳如下：

r^*＝arg_r max acc(S′(r))

其中acc(S′(r))表示对模型经过每层剪枝率为r_i进行剪枝和适应性批量标准化处理后，简化模型的推理精度。此外，为了简化搜索的计算代价，本实施例方法将剪枝率r_i约束在{10％,20％...100％}集合内，使得上述求解问题变为搜索最优组合问题，该约束能够大大减少剪枝结构的组合。

接下来使用改进灰狼算法搜索得到各卷积层最优的剪枝率，本实施例的搜索过程见图4。

(一)搜索算法

(1)搜索初始化

由于灰狼算法(如图3所示)受初始值影响较小，我们采用随机产生种群的方法：

X_i,j～U(lb,ub)

其中，X_i,j表示参与搜索灰狼种群，其中i为灰狼种群数且∈{1,2…N}，j为种群维度(此处表示网络层数)，U为随机函数，lb和ub为搜索区间的上界和下界(此处搜索空间为{10％,20％...100％})。

(2)搜索过程

所有灰狼通过下列方式接近猎物，即趋于最优解：

D＝|C·X_p(t)-X(t)|

X(t+1)＝X_p(t)-A·D

其中D表示灰狼与猎物间的距离，t为当前的迭代次数，X_p(t)和X(t)为猎物位置和灰狼位置，A和C为调节系数，计算如下：

A＝2a·r₁-a

C＝2·r₂

其中r₁和r₂是0-1之间的随机向量，a＝2e^-t/T，T为算法设定的最大迭代次数。

(3)更新过程

通过得到的各灰狼位置向量所对应的网络层剪枝率，计算各层的各个通道的L1范数，对网络各层中参数值L1范数较低的通道予以剪枝，然后对剪枝模型使用适应性批量标准化方法更新批量标准化层，将得到的推理精度作为灰狼个体的适应度，其中最优的个体记作W，优的个体记作Y，次优的记作Z，其余均为V。

在更新时，由于个体的“趋优性”，候选灰狼个体通过计算断自身与灰狼W、Y、Z之间的移动距离D_W、D_Y、D_Z，来更新自己的位置，相关计算公式如下：

D_W＝|C₁·X_W-X(t)|

D_Y＝|C₂·X_Y-X(t)|

D_Z＝|C₃·X_Z-X(t)|

X(t+1)＝(1/3)((X_W-A₁D_W)+(X_Y-A₂D_Y)+(X_Z-A₃D_Z))(1-t/T)+(X_W-A₁D_W)·(t/T)

其中X(t)表示当前候选灰狼位置，X(t+1)表示下一时刻候选灰狼位置，X_W、X_Y和X_Z分别表示W狼、Y狼、Z狼的当前位置；A₁、A₂、A₃以及C₁、C₂、C₃同搜索过程的A和C一样，为随机变量。

在损失函数中添加L1范数对权重进行约束，以目标函数优化的角度考虑，L1范数可以使得权重中大部分值为0，使得通道内权重具有稀疏性，从而可以将相关通道剪掉。目标函数为：

其中Loss为深度网络标准损失函数，K为网络权值集合，w为集合中的元素，||·||₁为L1范数，γ为惩罚因子。

本实施例剪枝前所采用原始预训练模型为在损失函数中添加L1范数训练后得到的模型。

假定深度网络某一层的权值张量为

其中(c_out，c_in，s，s)则分别表示网络四维权值张量的输出通道数、输入通道数以及卷积核大小。在网络卷积层中，为了便于使用量化函数，首先需要改变四维权值的维度，将其变为二维矩阵，即

考虑到算法的复杂度，本实施例采用简单的剪枝方法，即求解各个通道权值的L1范数，按从大到小进行排序，依照剪枝率优先剪枝L1范数值排序小于剪枝率的对应通道。

在得到剪枝后的网络模型后，需对其进行网络微调(fine-tune)，以获取最终的推理模型及其精度。

本实施例提供的一种应用于图像处理的深度网络模型轻量化方法，主要可以应用于嵌入式GPU平台，图像分类处理实现过程如图5所示，包括：

数据提取模块，用于从训练数据集中提取多帧样本图像(CIFAR10\CIFAR100\ImageNet)；

训练模块，利用所述数据对常见的深度网络模型(VGG，resnet，densenet等网络)执行基于上述搜索算法的训练得到通道剪枝后的轻量化网络模型；

推理模块，使用测试数据集再轻量化网络模型上进行图像分类实验，获取模型精度。

实施例2

本发明实施例2提供一种对应上述实施例1的终端设备，终端设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行上述实施例的方法。

本实施例的终端设备包括存储器、处理器及存储在存储器上的计算机程序；处理器执行存储器上的计算机程序，以实现上述实施例1方法的步骤。

在一些实现中，存储器可以是高速随机存取存储器(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

在另一些实现中，处理器可以为中央处理器(CPU)、数字信号处理器(DSP)等各种类型通用处理器，在此不做限定。

实施例3

本发明实施例3提供了一种对应上述实施例1的计算机可读存储介质，其上存储有计算机程序/指令。计算机程序/指令被处理器执行时，实现上述实施例1方法的步骤。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种应用于终端设备的轻量化图像分类方法，其特征在于，包括以下步骤：

S1、提取多帧样本图像；

S2、利用所述多帧样本图像训练轻量化网络模型，得到图像分类模型；

其中，所述轻量化网络模型获取过程包括：

S2.1、在指定裁剪参数空间内按照既定比例对深度网络模型每层进行随机初始化通道裁剪，得到固定裁剪后的深度网络模型；

S2.2、将所述固定裁剪后的深度网络模型的推理精度作为灰狼算法的输入，更新所述深度网络模型每层的通道裁剪比例系数，得到裁剪后的深度网络模型，即轻量化网络模型。

2.根据权利要求1所述的应用于终端设备的轻量化图像分类方法，其特征在于，步骤S2.2的具体实现过程包括：

A)随机产生参与搜索的灰狼种群X_i,j：X_i,j～U(lb，ub)，i为灰狼种群数且i∈{1，2…N}，N为种群总数，j为种群维度，种群维度即网络层数，U为随机函数，lb和ub为搜索区间的上界和下界；初始化参与搜索的灰狼种群X_i，j中各灰狼的位置；指定各灰狼对应的适应度为所述固定裁剪后的深度网络模型的推理精度；

B)利用下式搜索候选灰狼的位置X(t)：X(t+1)＝X_p(t)-A·D，D＝|C·X_p(t)-X(t)|；其中，D表示候选灰狼与猎物间的距离，t为当前的迭代次数，X_p(t)为猎物位置，A和C为调节系数；

C)判断是否满足迭代终止条件，若是，则输出最优个体以及该最优个体的适应度大小，结束；否则，计算候选灰狼的适应度，进入步骤D)；

D)当适应度增加时，利用下式更新候选灰狼位置：X(t+1)＝(1/3)((X_W-A₁D_W)+(X_Y-A₂D_Y)+(X_Z-A₃D_z))(1-t/T)+(X_W-A₁D_W)·(t/T)；其中，X(t)表示当前候选灰狼位置，X(t+1)表示下一时刻候选灰狼位置，X_W、X_Y和X_Z分别表示W狼、Y狼、Z狼的当前位置A₁、A₂、A₃以及C₁、C₂、C₃为随机变量，D_W、D_Y、D_Z分别表示候选灰狼与灰狼W、Y、Z之间的移动距离，D_W＝|C₁·X_W-X(t)|，D_Y＝|C₂·X_Y-X(t)|，D_z＝|C₃·X_Z-X(t)|；所述W狼、Y狼、Z狼分别对应最优的个体、优的个体、次优的个体；灰狼位置对应深度网络模型网络层的剪枝率；T为设定的最大迭代次数；

E)更新候选灰狼的适应度值，返回步骤C)；

F)计算各网络层的各个通道的L1范数，对网络各层中参数值L1范数低于网络层剪枝率的通道予以剪枝，对剪枝后的深度网络模型使用适应性批量标准化方法更新批量标准化层，得到轻量化网络模型。

3.根据权利要求2所述的应用于终端设备的轻量化图像分类方法，其特征在于，A＝2a·r₁-a，其中，r₁是0～1之间的随机向量，a＝2e^-t/T,T为设定的最大迭代次数。

4.根据权利要求2所述的应用于终端设备的轻量化图像分类方法，其特征在于，C＝2·r₂，r₂是0～1之间的随机向量。

5.应用于终端设备的轻量化图像分类方法根据权利要求1所述的应用于终端设备的轻量化图像分类方法，其特征在于，所述深度网络模型为在损失函数中添加L1范数训练后得到的模型；其中，添加L1范数后损失函数表达式为：

Loss*为深度网络标准损失函数，K为网络权值集合，||·||₁为L1范数，γ为惩罚因子。

6.根据权利要求1所述的应用于终端设备的轻量化图像分类方法，其特征在于，步骤S2之后，还包括：

S3、调整步骤S2.2获得的轻量化网络模型的参数，得到最终的轻量化网络模型。

7.根据权利要求1所述的应用于终端设备的轻量化图像分类方法，其特征在于，步骤S2之后，还包括：将所述测试集数据作为所述网络分类模型的输入，判断所述网络分类模型是否满足精度要求。

8.根据权利要求1所述的应用于终端设备的轻量化图像分类方法，其特征在于，步骤S2之后，还包括：将图像输入所述网络分类模型，获得图像类别。

9.一种终端设备，包括存储器、处理器及存储在存储器上的计算机程序；其特征在于，所述处理器执行所述计算机程序，以实现权利要求1～8之一所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序/指令；其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1～8之一所述方法的步骤。

Images