CN111242180A - 一种基于轻量化卷积神经网络的图像识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于轻量化卷积神经网络的图像识别方法及系统，包括：加载预训练好的用于图像识别的深度卷积神经网络模型；采用基于核的稀疏化方法，计算出模型中卷积层的裁剪因子，对卷积层进行裁剪，进而计算出未被裁剪的卷积层中各卷积核的裁剪因子，对卷积核进行裁剪；针对裁剪完成后的卷积神经网络模型，以卷积可分离的分组卷积方式代替标准的卷积方式并对卷积核的权重系数矩阵进行量化编码，得到轻量化的卷积神经网络模型；使用图像数据集对轻量化的模型进行训练，将待识别的图像输入训练好的轻量化卷积神经网络模型进行图像识别。本发明公开的轻量化图像识别模型可以加载到计算能力和存储资源有限的终端上，具有较为广阔的应用前景。

Description

一种基于轻量化卷积神经网络的图像识别方法及系统

技术领域

本发明涉及图像处理与模式识别领域，特别涉及一种基于轻量化卷积神经网络的图像识别方法及系统。

背景技术

随着深度学习在目标识别和检测领域的不断发展，继AlexNet以来，VGG、GoogleNet、ResNet等网络向网络层数更深地方向发展，以寻求更好的检测精度。然而，在目前许多应用，如自动驾驶、疲劳检测、机器人等受限于集成设备与处理速度，模型压缩研究应运而生新的深度神经网络不断提出；相关研究人员运用增加卷积层数，增加卷积核的个数等方法来提取检测目标的深层次特征；尽管深度网络模型在许多问题中表现优越，但实际应用时受到了时间上和空间上的制约，大而深的网络模型运算量巨大，即使借助于图形处理器，也难以嵌入开发在计算资源和存储资源有限的设备上，时间上也难以满足日常生活中的许多场景需求；高性能的计算机生产及维护成本较高，不适合大量普及推广；例如传统的行人检测设备(比如摄像监控头)是将录制的视频上传到远程的大型服务器上进行数据处理，因受带宽和传输时延的影响，无法实时对目标行人进行有效的识别，于是在抓捕嫌疑犯和寻找丢失儿童等一些特殊的场合应用比较局限；因此设计一种轻量化的卷积神经网络，使其能够嵌入开发在计算和存储能力有限的移动终端上，使其能够实时对图像目标进行有效的识别，将在一定程度上突破深度网络模型的应用局限，具有较为广阔的应用前景。

发明内容

发明目的：针对背景技术中所涉及到的缺陷，本发明的目的在于提供一种基于轻量化卷积神经网络的图像识别方法及系统，通过精简网络结构，对权重进行量化编码，使其能够适用于计算和存储能力有限的应用场景。

技术方案：为实现上述发明目的，本发明采用如下技术方案：

一种基于轻量化卷积神经网络的图像识别方法，包括以下步骤：

(1)加载预训练好的用于图像识别的基于标准卷积方式的深度卷积神经网络模型；

(2)采用基于核的稀疏化方法，计算出模型中卷积层的裁剪因子，对卷积层进行裁剪；

(3)采用基于核的稀疏化方法，进而计算出未被裁剪的卷积层中各卷积核的裁剪因子，对卷积核进行裁剪；

(4)针对裁剪后的卷积神经网络模型，以卷积可分离的分组卷积方式代替标准的卷积方式；

(5)引入量化编码因子，对未被裁剪的卷积核的权重系数矩阵进行量化编码；

(6)使用图像数据集对经过上述轻量化操作后的模型进行训练，得到训练好的轻量化卷积神经网络模型；

(7)将待识别的图像输入训练好的轻量化卷积神经网络模型进行图像识别。

进一步地，所述步骤(2)包括：

(2.1)将步骤(1)网络中卷积层总数记为n，同时网络中各卷积层的重要程度评估系数定义为w_i，i＝1,2,3....n；每次仅删除预训练好用于图像识别的基于标准卷积方式的深度卷积神经网络模型的第i层卷积层，迭代循环n次，分别得到w₁,w₂,w₃......w_n；其中，

Acc表示预训练好用于图像识别的基于标准卷积方式的深度卷积神经网络模型的识别准确率；Acc_i表示仅第i层卷积层裁剪后的网络识别准确率；

(2.2)定义卷积层的重要程度评估系数的基准线为w_B＝1，表示在理想状态下，删除某层卷积层后，图像识别准确率没有发生变化；当某个卷积层重要程度评估系数w_i>w_B,表示删除该卷积层对网络识别准确率有一定的影响；当w_i＝w_B表示删除某个卷积层后对网络的识别准确率未产生任何影响；当w_i＜w_B时，表示删除该卷积层反而有利于提高网络的识别准确率；得到w_i，i＝1,2,3....n，之后删除评估系数w_i＜＝w_B所对应的卷积层，记录所需裁减的总层数为p，根据所需裁剪的卷积层总数目p与总卷积层数目n的比值，得到卷积层裁剪因子

进一步地，所述步骤(3)包括：

(3.1)给所述步骤(2)网络模型中未裁剪的j个卷积层依次编号，其中j＝n-p；n为步骤(1)网络中卷积层总数，p为步骤(2)删除的卷积层总层数；

(3.2)评估卷积核的重要程度评估系数定义为

其中，将未被裁剪卷积层中的每个卷积核重要程度评估系数定义为

m表示卷积层对应的层数编号，k表示每个卷积层中对应的卷积核编号，其中m＝1,2,3....j，k＝1,2,3...k_m，k_m表示第m卷积层中卷积核数目；U_mk,V_mk分别表示第m卷积层的第k个卷积核权重矩阵的行数和列数，

表示第m卷积层的第k个卷积核权重系数矩阵x行y列的具体参数；

(3.3)根据步骤(3.2)中的卷积核重要程度评估系数的评估方法，依次求解得到每个卷积核的权重系数矩阵之和，并计算出每个卷积层所有卷积核重要程度评估系数的均值；

(3.4)统计每个卷积层中卷积核评估系数小于该卷积层所有卷积核重要程度评估系数均值的卷积核个数，记为Q_m，m＝1,2...j，删除对应的卷积核；根据每一卷积层中所需裁剪的卷积核总数目Q_m与对应卷积层中卷积核总数目k_m的比值，得到未被裁剪卷积层的每一层卷积核裁剪因子

m＝1,2,3...j。

进一步地，所述步骤(4)中标准卷积方式为：若第m卷积层的输入为a_m×a_m×d的特征图，采用f个尺寸为D_k×D_k×d的卷积核，填充方法采用自动补零的方式，输出的为f个a_m×a_m特征图，其中，a_m×a_m、D_k×D_k、f、d分别特征图大小、卷积核的尺寸、卷积核的个数、卷积核的维度数；

所述卷积可分离的分组卷积方式为：先将输入的a_m×a_m×d特征图分成均分成c组，每组只用一个卷积核尺寸大小为

对输入的特征图卷积，输出为c个a_m×a_m特征图；再用f个尺寸大小为1×1×c的卷积核对上述输出的c个a_m×a_m个特征图进行卷积，输出为f个a_m×a_m个特征图。

进一步地，所述步骤(5)包括：

(5.1)在未被裁剪的网络卷积层中，设定每个卷积层中的每个卷积核权重矩阵参数聚类簇数个数，其中聚类个数小于每个卷积核权重矩阵参数点数；

(5.2)遍历网络模型中的未被裁剪的每个卷积层，依次对每层中的每个卷积核的权重矩阵参数点进行聚类；

(5.3)在每个卷积核中，保存聚类簇数个数的浮点型的权值点，每个点存一个类别索引，每一类别的索引号作为量化编码因子，对浮点型的权值量化编码，在同一卷积核中，权重矩阵参数点共享所属聚类簇的均值。

一种基于轻量化卷积神经网络的图像识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于轻量化卷积神经网络的图像识别方法。

有益效果：与现有技术相比，本发明具有以下技术效果：

1.运用核稀疏化的思想对网络的卷积层和卷积核的重要程度作出有效的评估，得到积核裁剪因子和卷积层裁剪因子，精简了网络的结构，使网络能够嵌入开发在移动终端上，在一定上程度上解决了因存储困难和数据传输带宽有限的问题；

2.运用了卷积可分离的分组卷积思想，有效地降低了网络的计算量，缩短了网络模型从检测到识别分类的计算时间，具有较强的实时性；

3.网络权重量化编码能够降低网络训练保存权重消耗的内存，引入了量化约束因子能够有效降低在训练过程中保存权重所需内存的占有率同时保持网络识别准确率。

附图说明

图1是本发明实施例的方法流程图。

图2是本发明卷积核权重量化编码过程示意图。

具体实施方式

下面结合具体实施例和附图对本发明的技术方案作进一步说明。

如图1所示，本发明实施例公开的一种基于轻量化卷积神经网络的图像识别方法，主要包括：

(1)加载预训练好的用于图像识别的基于标准卷积方式的深度卷积神经网络模型；

(2)采用基于核的稀疏化方法，计算出模型中卷积层的裁剪因子，对卷积层进行裁剪；

(3)采用基于核的稀疏化方法，进而计算出未被裁剪的卷积层中各卷积核的裁剪因子，对卷积核进行裁剪；

(4)针对裁剪后的卷积神经网络模型，以卷积可分离的分组卷积方式代替标准的卷积方式；

(5)引入量化编码因子，对未被裁剪的卷积核的权重系数矩阵进行量化编码；

(6)使用图像数据集对经过上述轻量化操作后的模型进行训练，得到训练好的轻量化卷积神经网络模型；

(7)将待识别的图像输入训练好的轻量化卷积神经网络模型进行图像识别。

下面以目标行人再识别为例，详细说明各步骤的具体实施过程。在本实施例中，选取了INRIA Person Dataset来作为本次使用的行人再识别数据集，该行人数据库行人所处背景杂，人的姿态也较多，而且含有光照等环境因素的变化，更加符合实际场景。

在本实施例中，步骤(1)中加载为已调优的Fast-RCNN卷积神经网络，先对图像中的各个候选区域用卷积神经网络进行特征提取并使用一个SVM进行分类，结合目标人物的图片和待识别的行人图像，给出更精确的目标人物边界框；由于R-CNN在特征提取、SVM分类、SVM边界回归，训练过程非常耗时，此外训练过程中需要保存得到的特征信息，很占内存空间；因此步骤(2)至步骤(5)的目的是为了在保证Fast-RCNN卷积神经网络识别精度的前提下，最大限度的精简输入的深度神经网络结构，得到轻量化的卷积神经网络，使网络能够嵌入开发在存储得资源和计算能力有限的移动终端上，对目标行人进行实时的检测与识别。

本实施例中，步骤(2)具体包括：

(2.1)将步骤(1)网络中卷积层总数记为n，同时网络中各卷积层的重要程度评估系数定义为w_i，i＝1,2,3....n

其中，Acc表示预训练好用于图像识别的基于标准卷积方式的深度卷积神经网络模型的识别准确率；Acc_i表示仅第i层卷积层裁剪后的网络识别准确率；

(2.2)每次仅删除预训练好用于图像识别的基于标准卷积方式的深度卷积神经网络模型的第i层卷积层，迭代循环n次，分别得到w₁,w₂,w₃......w_n，表示着每个卷积层重要程度评估系数；

(2.3)定义卷积层的重要程度评估系数的基准线为w_B＝1,表示在理想状态下，删除某层卷积层后，图像识别准确率没有发生变化；当某个卷积层重要程度评估系数w_i>w_B,表示删除该卷积层对网络识别准确率有一定的影响；当w_i＝w_B表示删除某个卷积层后对网络的识别准确率未产生任何影响；当w_i＜w_B时，表示删除该卷积层反而有利于提高网络的识别准确率；

(2.4)当满足循环次数n时，依据步骤(2.3)的卷积层重要程度评估系数判定法则，删除评估系数w_i＜＝w_B所对应的卷积层，记录所需裁减的总层数为p，根据所需裁剪的卷积层总数目p与总卷积层数目n的比值，得到卷积层裁剪因子α_l，其中

本实施例中，步骤(3)具体包括：

(3.1)给所述步骤(2)网络模型中未裁剪的j个卷积层依次编号，其中j＝n-p；

(3.2)评估卷积核的重要程度评估系数具体定义为

其中，将未被裁剪卷积层中的每个卷积核重要程度评估系数定义为

m表示卷积层对应的层数编号，k表示每个卷积层中对应的卷积核编号，其中m＝1,2,3....j，k＝1,2,3...k_m，k_m表示第m卷积层中卷积核数目；U_mk,V_mk分别表示第m卷积层的第k个卷积核权重矩阵的行数和列数，

表示第m卷积层的第k个卷积核权重系数矩阵特定位置的具体参数；

(3.3)根据步骤(3.2)中的卷积核重要程度评估系数的评估方法，依次求解得到每个卷积核的权重系数矩阵之和；考虑到权重系数矩阵之和较小的卷积核倾向于生成激活较弱的特征图到下一卷积层中，激活较弱的特征图意味提取的特征信息较少，因此根据

依次求解出每个卷积层所有卷积核重要程度评估系数的均值；

(3.5)依次统计每个卷积层中卷积核评估系数小于该卷积层所有卷积核重要程度评估系数均值的卷积核个数，并依次记为Q₁、Q₂....Q_j；根据每一卷积层中所需裁剪的卷积核总数目Q_m(m＝1,2...j)与对应卷积层中卷积核总数目(k_m)的比值，得到未被裁剪卷积层的每一层卷积核裁剪因子θ_m，

m＝1,2,3...j。

本实施例中，步骤(4)具体包括：

(4.1)标准卷积方式下，若第m卷积层的输入为a_m×a_m×d的特征图，采用f个尺寸为D_k×D_k×d的卷积核，填充方法采用自动补零的方式，输出的为f个a_m×a_m个特征图，其中，a_m×a_m、D_k×D_k、f分别表示特征图大小、卷积核的尺寸、卷积核的个数；

(4.2)卷积可分离的分组卷积方式,先将输入的a_m×a_m×d特征图分成均分成c组，每组只用一个卷积核尺寸大小为

对输入的特征图卷积，输出为c个a_m×a_m个特征图；

(4.3)用f个尺寸大小为1×1×c的卷积核对步骤(4.2)中输出的特征图卷积，输出的为f个a_m×a_m个特征图；

(4.4)依次遍历未被裁剪的j个卷积层,分别用卷积可分离的分组卷积方式代替标准的卷积方式；

在步骤(4.1)中，标准的卷积方式计算量为：

t₁＝a_m×a_m×d×D_k×D_k×f

在改变卷积方式之后，在步骤(4.2)中，通道分组计算量为：

在步骤(4.3)中，卷积计算量为：

t₃＝a_m×a_m×c×1×1×f

易得：

其中，一般f>>d，c<d,D_k>1，当c和d相等时，计算量约为原来的

本实施例中，在每一个卷积层中，对未被裁剪卷积核的权重矩阵参数进行聚类，其主要过程如图2所示，可以根据卷积核权重矩阵参数的分布特点，将参数分为若干类，每一类别的索引号用整数创建，索引号中的值表示该类别中所有权重参数点的均值。其中，每一类别的索引号称为量化编码因子；一般在64位计算机存储器中，因原先的卷积核矩阵参数点值均为双精度浮点数，每个浮点数保存均需要8个字节，每个整数保存只需要4个字节；因此利用整数来保存卷积核权重参数将有利于降低计算机计算时消耗的内存，在一定程度上也能够加速网络的计算速度。如在图2中，一个卷积核原先需保存九个权重参数，总共72个字节，经聚类和编码后，只需保存9个整数，3个浮点数，总共60个字节；这样在网络层数较多，卷积核尺寸较大和个数较多的情况下，将进一步有利于减少保存权重内存占有率。步骤(5)具体包括：

(5.1)在未被裁剪的j个网络卷积层中，初始设定每个卷积层中的每个卷积核权重矩阵参数聚类簇数个数均为ξ，其中聚类个数需小于每个卷积核权重矩阵参数点数；

(5.2)依次遍历网络模型中的未被裁剪的每个卷积层，依次对每层中的每个卷积核的权重矩阵参数点进行聚类；具体包括：

(5.2.1)在同一卷积层中，计算每个卷积核权重矩阵参数点两两距离，在每个卷积核中挑选出最小距离的两个权重矩阵参数点构成一个簇；

(5.2.2)继续计算同一卷积层中，同一卷积核剩余的权重矩阵参数点之间的两两距离和点与该卷积核形成簇之间的距离，然后将最小距离的点或簇合并到一起；

(5.2.3)重复步骤(5.2.1)至(5.2.2)，直到满足初始设定聚类的簇数或其他设定的条件，便结束算法的运行；在同一卷积核中，权重矩阵参数点共享所属聚类簇的均值；

(5.3)根据步骤(5.1)中初始设定每个卷积层中的每个卷积核权重矩阵参数聚类簇个数，在每个卷积核中，我们只需要保存ξ个浮点型的权值点就可以了，然后每个点存一个类别索引，对ξ个浮点型的权值量化编码，在一定程度上减少了每个卷积核权重矩阵参数存储的比特数，加快网络的计算时间，使识别具有更高的实时性。

最后使用大规模行人图像数据集对经过上述轻量化操作后的模型进行训练，得到训练好的轻量化模型；在利用训练好的轻量化模型进行行人再识别，将目标人物的图片和待识别的行人图像分别输入训练好的轻量化卷积神经网络模型中，判断待识别的行人是否为目标人物。

通过以上步骤(2)至步骤(5)的卷积神经网络的轻量化方法，在保持识别精度的同时，能够最大限度的精简网络的结构，使网络能够嵌入开发在计算和存储资源有限的设备上(如监控摄像头)，能够实时对目标行人进行识别与检测，在一些特殊的场合(抓捕嫌疑犯、寻找丢失儿童等)具有较为广阔的应用前景。

基于相同的发明构思，本发明实施例公开的一种基于轻量化卷积神经网络的图像识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于轻量化卷积神经网络的图像识别方法。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于轻量化卷积神经网络的图像识别方法，其特征在于，包括以下步骤：

(1)加载预训练好的用于图像识别的基于标准卷积方式的深度卷积神经网络模型；

(2)采用基于核的稀疏化方法，计算出模型中卷积层的裁剪因子，对卷积层进行裁剪；

(3)采用基于核的稀疏化方法，进而计算出未被裁剪的卷积层中各卷积核的裁剪因子，对卷积核进行裁剪；

(4)针对裁剪后的卷积神经网络模型，以卷积可分离的分组卷积方式代替标准的卷积方式；

(5)引入量化编码因子，对未被裁剪的卷积核的权重系数矩阵进行量化编码；

(6)使用图像数据集对经过上述轻量化操作后的模型进行训练，得到训练好的轻量化卷积神经网络模型；

(7)将待识别的图像输入训练好的轻量化卷积神经网络模型进行图像识别。

2.根据权利要求书1所述的一种基于轻量化卷积神经网络的图像识别方法，其特征在于，所述步骤(2)包括：

(2.1)将步骤(1)网络中卷积层总数记为n，同时网络中各卷积层的重要程度评估系数定义为w_i，i＝1,2,3....n；每次仅删除预训练好用于图像识别的基于标准卷积方式的深度卷积神经网络模型的第i层卷积层，迭代循环n次，分别得到w₁,w₂,w₃......w_n；其中，

Acc表示预训练好用于图像识别的基于标准卷积方式的深度卷积神经网络模型的识别准确率；Acc_i表示仅第i层卷积层裁剪后的网络识别准确率；

(2.2)定义卷积层的重要程度评估系数的基准线为w_B＝1，表示在理想状态下，删除某层卷积层后，图像识别准确率没有发生变化；当某个卷积层重要程度评估系数w_i>w_B,表示删除该卷积层对网络识别准确率有一定的影响；当w_i＝w_B表示删除某个卷积层后对网络的识别准确率未产生任何影响；当w_i＜w_B时，表示删除该卷积层反而有利于提高网络的识别准确率；得到w_i，i＝1,2,3....n，之后删除评估系数w_i＜＝w_B所对应的卷积层，记录所需裁减的总层数为p，根据所需裁剪的卷积层总数目p与总卷积层数目n的比值，得到卷积层裁剪因子

3.根据权利要求书1所述的一种基于轻量化卷积神经网络的图像识别方法，其特征在于，所述步骤(3)包括：

(3.1)给所述步骤(2)网络模型中未裁剪的j个卷积层依次编号，其中j＝n-p；n为步骤(1)网络中卷积层总数，p为步骤(2)删除的卷积层总层数；

(3.2)评估卷积核的重要程度评估系数定义为

其中，将未被裁剪卷积层中的每个卷积核重要程度评估系数定义为

m表示卷积层对应的层数编号，k表示每个卷积层中对应的卷积核编号，其中m＝1,2,3....j，k＝1,2,3...k_m，k_m表示第m卷积层中卷积核数目；U_mk,V_mk分别表示第m卷积层的第k个卷积核权重矩阵的行数和列数，

表示第m卷积层的第k个卷积核权重系数矩阵x行y列的具体参数；

(3.3)根据步骤(3.2)中的卷积核重要程度评估系数的评估方法，依次求解得到每个卷积核的权重系数矩阵之和，并计算出每个卷积层所有卷积核重要程度评估系数的均值；

(3.4)统计每个卷积层中卷积核评估系数小于该卷积层所有卷积核重要程度评估系数均值的卷积核个数，记为Q_m，m＝1,2...j，删除对应的卷积核；根据每一卷积层中所需裁剪的卷积核总数目Q_m与对应卷积层中卷积核总数目k_m的比值，得到未被裁剪卷积层的每一层卷积核裁剪因子

4.根据权利要求书1所述的一种基于轻量化卷积神经网络的图像识别方法，其特征在于，所述步骤(4)中标准卷积方式为：若第m卷积层的输入为a_m×a_m×d的特征图，采用f个尺寸为D_k×D_k×d的卷积核，填充方法采用自动补零的方式，输出的为f个a_m×a_m特征图，其中，a_m×a_m、D_k×D_k、f、d分别特征图大小、卷积核的尺寸、卷积核的个数、卷积核的维度数；

所述卷积可分离的分组卷积方式为：先将输入的a_m×a_m×d特征图分成均分成c组，每组只用一个卷积核尺寸大小为

对输入的特征图卷积，输出为c个a_m×a_m特征图；再用f个尺寸大小为1×1×c的卷积核对上述输出的c个a_m×a_m个特征图进行卷积，输出为f个a_m×a_m个特征图。

5.根据权利要求书1所述的一种基于轻量化卷积神经网络的图像识别方法，其特征在于，所述步骤(5)包括：

(5.1)在未被裁剪的网络卷积层中，设定每个卷积层中的每个卷积核权重矩阵参数聚类簇数个数，其中聚类个数小于每个卷积核权重矩阵参数点数；

(5.2)遍历网络模型中的未被裁剪的每个卷积层，依次对每层中的每个卷积核的权重矩阵参数点进行聚类；

(5.3)在每个卷积核中，保存聚类簇数个数的浮点型的权值点，每个点存一个类别索引，每一类别的索引号作为量化编码因子，对浮点型的权值量化编码，在同一卷积核中，权重矩阵参数点共享所属聚类簇的均值。

6.一种基于轻量化卷积神经网络的图像识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-5任一项所述的基于轻量化卷积神经网络的图像识别方法。

Images