CN114065920A - 一种基于通道级剪枝神经网络的图像识别方法及系统 - Google Patents

一种基于通道级剪枝神经网络的图像识别方法及系统 Download PDF

Info

Publication number
CN114065920A
CN114065920A CN202111371531.8A CN202111371531A CN114065920A CN 114065920 A CN114065920 A CN 114065920A CN 202111371531 A CN202111371531 A CN 202111371531A CN 114065920 A CN114065920 A CN 114065920A
Authority
CN
China
Prior art keywords
neural network
channel
pruning
network model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111371531.8A
Other languages
English (en)
Inventor
徐卫志
曹洋
赵雅倩
于惠
陆佃杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Mass Institute Of Information Technology
Shandong Normal University
Original Assignee
Shandong Mass Institute Of Information Technology
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Mass Institute Of Information Technology, Shandong Normal University filed Critical Shandong Mass Institute Of Information Technology
Priority to CN202111371531.8A priority Critical patent/CN114065920A/zh
Publication of CN114065920A publication Critical patent/CN114065920A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于通道级剪枝神经网络的图像识别方法及系统，所述方法包括：获取图像数据集；利用预训练的神经网络模型，得到图像识别结果；其中，通过正态检验方法降低神经网络模型的精度损失，实现神经网络模型压缩。本发明将Jarque‑Bera正态检验方法应用到通道级剪枝上边，首先对BN层的缩放因子进行L2正则化训练，使其服从正态分布，然后使用Jarque‑Bera正态检验方法计算出剪枝比例，从而剪掉缩放因子对应的通道及其输入输出连接，从而保证剪枝后的网络模型精度损失低，进而实现模型压缩。

Description

一种基于通道级剪枝神经网络的图像识别方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于通道级剪枝神经网络的图像识别方法及系统。
背景技术
深度学习(Deep Learning)是机器学习的一个分支，是一种以人工神经网络为架构，对资料进行表征学习的算法。深度学习的优势是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。至今已有数种深度学习框架，如卷积神经网络、深度置信网络和循环神经网络等。
近年来，深度神经网络有着飞速的发展，其应用尤为广泛，许多实验已经证明深度神经网络能够为许多的方向应用提供有效的解决方案，例如计算机视觉、自然语言处理、语音识别、情感分析、文本特征提取、生物信息学等领域。但为了达到更好的效果，目前深度神经网络层数增长较快，并且具有计算量大、参数多的特点，因此对计算设备的算力和存储容量要求比较高。
到目前为止，许多DNN加速和压缩方法已经被提出。这些方法包括低秩近似、权重量化、二值化网络、知识蒸馏、剪枝、轻量网络等，还有些需要专门的软硬件加速器以及编译优化等来提高运行速度，起到加速效果。
通道级剪枝方法是神经网络模型剪枝中最常用的压缩方法之一，其核心思想是，DNN通常被认为有许多参数是冗余的。通过对DNN进行通道剪枝，去掉一些不必要的或者是不太重要的通道，从而得到一个更紧凑的神经网络模型，由于剪枝后精度会有下降，需要再通过微调来对精度进行补偿。通道剪枝可以概括为三个步骤：(1)对初始DNN模型进行预训练；(2)对模型中的通道进行剪枝；(3)对剪枝后的模型进行微调。然而，针对于现有的部分平台或终端，需要对神经网络模型进行压缩，才能实现对图像的快速识别，因此大多数的通道级剪枝方法常常使用定义全局阈值的剪枝比例进行剪枝，往往将一些包含重要信息的通道剪掉，虽然能够将参数水平降低到理想状态，但这会导致剪枝过后精度的大幅下降，由此导致了对剪枝之后的神经网络模型进行微调之后精度也难以达到相应水平，进而导致图像识别的精度不高，图像识别结果准确率较低。
发明内容
本发明为了解决上述问题，提出了一种基于通道级剪枝神经网络的图像识别方法及系统，本发明能够自动选取合适的剪枝比例，从而确保剪枝之后的神经网络精度损失不会大幅下降，有效提高图像识别精度。
根据一些实施例，本发明采用如下技术方案：
一种基于通道级剪枝神经网络的图像识别方法，包括：
获取图像数据集；
利用预训练的神经网络模型，得到图像识别结果；
其中，通过正态检验方法降低神经网络模型的精度损失，实现神经网络模型压缩。
进一步地，所述图像数据集包括微型图像数据集子集和计算机视觉数据集。
进一步地，所述神经网络模型的预训练包括，对神经网路模型的BN层进行L2正则化训练。
进一步地，所述L2正则化训练，目的是批量归一化BN层中的缩放因子，使其服从正态分布。
进一步地，所述通过正态检验方法降低神经网络模型的精度损失，包括通过Jarque-Bera正态检验方法进行神经网络通道的剪枝比例确定。
进一步地，所述通道的剪枝比例确定，包括剪掉缩放因子对应的通道及其输入输出连接。
进一步地，所述正态检验方法还用于检验图像数据集是否具有符合正态分布的偏度和峰度的拟合优度。
一种基于通道级剪枝神经网络的图像识别系统，包括：
数据获取模块，被配置为，获取图像数据集；
图像识别模块，被配置为，利用预训练的神经网络模型，得到图像识别结果；
其中，通过正态检验方法降低神经网络模型的精度损失，实现神经网络模型压缩。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于通道级剪枝神经网络的图像识别方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于通道级剪枝神经网络的图像识别方法。
与现有技术相比，本发明的有益效果为：
本发明将Jarque-Bera正态检验方法应用到通道级剪枝上边，并对BN层的缩放因子进行L2正则化训练，使其服从正态分布，然后使用Jarque-Bera正态检验方法计算出剪枝比例，从而剪掉缩放因子对应的通道及其输入输出连接，从而保证剪枝后的网络模型精度损失低，实现模型压缩，最终实现有效地提高图像识别精度，使得图像识别结果的准确率得到了显著提升。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本实施例的流程图；
图2是本实施例的架构图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1.
如图1所示，一种基于通道级剪枝神经网络的图像识别方法，包括：
获取图像数据集；
利用预训练的神经网络模型，得到图像识别结果；
其中，通过正态检验方法降低神经网络模型的精度损失，实现神经网络模型压缩。
所述图像数据集包括微型图像数据集子集和计算机视觉数据集。
所述神经网络模型的预训练包括，对神经网路模型的BN层进行L2正则化训练。
所述L2正则化训练，目的是批量归一化BN层中的缩放因子，使其服从正态分布。
所述通过正态检验方法降低神经网络模型的精度损失，包括通过Jarque-Bera正态检验方法进行神经网络通道的剪枝比例确定。
所述通道的剪枝比例确定，包括剪掉缩放因子对应的通道及其输入输出连接。
所述正态检验方法还用于检验图像数据集是否具有符合正态分布的偏度和峰度的拟合优度。
具体的，
该方法包含两部分，首先使用L2正则化进行神经网络模型预训练，然后第二部分通过Jarque-Bera正态检验方法进行通道的剪枝比例确定，从而使剪枝之后的神经网络模型精度损失的更小。
第一部分：
首先确定BN层的缩放因子γ，然后对该缩放因子施加L2正则化,使其服从高斯分布，具体过程如公式(1)所示。
Figure BDA0003362514490000051
其中，x，y表示输入和输出，W表示权重，对于公式(1)中的g(γ)，我们有
Figure BDA0003362514490000061
这被称为L2范数。
目前BN层被用来实现快速收敛和更好的泛化性能。BN层使用小批量统计信息对内部激活进行标准化。假设Xi和Yi是BN层的输入和输出，BN层执行以下转换：
Figure BDA0003362514490000062
其中，μB和σB是输入激活的平均值和标准偏差值，γ和β是比例和位移。可以直接利用BN层中的γ作为缩放因子。
根据公式(3)，能够确定BN层中的缩放因子，然后对缩放因子施加L2正则化，使其服从正态分布。
第二部分，
使用Jarque-Bera正态检验方法计算出剪枝比例，Jarque-Bera正态检验方法是对样本数据是否具有符合正态分布的偏度和峰度的拟合优度的检验。Jarque-Bera正态检验的公式如下所示：
Figure BDA0003362514490000063
其中，n为样本数量，S为样本的偏度，K为样本的峰度。
通过Jarque-Bera正态检验方法计算出剪枝比例之后，按照比例剪掉缩放因子所对应的通道以及输入输出连接来达到模型压缩效果。
最后，通过VggNet、ResNet和DenseNet三个网络模型在ImageNet，CIFAR-10以及CIFAR-100数据集上验证了本发明的方法，最终输出的参数量明显减少，输出的剪枝后的精度值比未剪枝前的精度值相比差别很小，这表明本发明的方法将模型剪枝的精度损失降到最低。
CIFAR：CIFAR-10和CIFAR-100是8000万微型图像数据集的子集。它们由亚历克斯·克里日夫斯基、维诺德·奈尔和杰弗里·辛顿收集。两个CIFAR数据集都包含分辨率为32×32的自然图像。CIFAR-10来自10个类别，每个类包含6000张图像。测试图片50000张，测试图片10000张。CIFAR-100来自100个类别。每个类包含600张图像，包含500张训练图片和100张测试图片。
ImageNet：ImageNet数据集是一个计算机视觉数据集，是由斯坦福大学的李飞飞教授带领创建。ImageNet数据集包含120万个训练图像和10,000个类别的50,000个验证图像。
实施例2.
一种基于通道级剪枝神经网络的图像识别系统，包括：
数据获取模块，被配置为，获取图像数据集；
图像识别模块，被配置为，利用预训练的神经网络模型，得到图像识别结果；
其中，通过正态检验方法降低神经网络模型的精度损失，实现神经网络模型压缩。
实施例3.
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行本实施例提供的一种基于通道级剪枝神经网络的图像识别方法。
实施例4.
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行本实施例提供的一种基于通道级剪枝神经网络的图像识别方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于通道级剪枝神经网络的图像识别方法，其特征在于，包括：
获取图像数据集；
利用预训练的神经网络模型，得到图像识别结果；
其中，通过正态检验方法降低神经网络模型的精度损失，实现神经网络模型压缩。
2.如权利要求1所述的一种基于通道级剪枝神经网络的图像识别方法，其特征在于，所述图像数据集包括微型图像数据集子集和计算机视觉数据集。
3.如权利要求2所述的一种基于通道级剪枝神经网络的图像识别方法，其特征在于，所述神经网络模型的预训练包括，对神经网路模型的BN层进行L2正则化训练。
4.如权利要求3所述的一种基于通道级剪枝神经网络的图像识别方法，其特征在于，所述L2正则化训练，目的是批量归一化BN层中的缩放因子，使其服从正态分布。
5.如权利要求4所述的一种基于通道级剪枝神经网络的图像识别方法，其特征在于，所述通过正态检验方法降低神经网络模型的精度损失，包括通过Jarque-Bera正态检验方法进行神经网络通道的剪枝比例确定。
6.如权利要求5所述的一种基于通道级剪枝神经网络的图像识别方法，其特征在于，所述神经网络通道的剪枝比例确定，包括剪掉缩放因子对应的通道及其输入输出连接。
7.如权利要求6所述的一种基于通道级剪枝神经网络的图像识别方法，其特征在于，所述正态检验方法还用于检验图像数据集是否具有符合正态分布的偏度和峰度的拟合优度。
8.一种基于通道级剪枝神经网络的图像识别系统，其特征在于，包括：
数据获取模块，被配置为，获取图像数据集；
图像识别模块，被配置为，利用预训练的神经网络模型，得到图像识别结果；
其中，通过正态检验方法降低神经网络模型的精度损失，实现神经网络模型压缩。
9.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的一种基于通道级剪枝神经网络的图像识别方法。
10.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的一种基于通道级剪枝神经网络的图像识别方法。
CN202111371531.8A 2021-11-18 2021-11-18 一种基于通道级剪枝神经网络的图像识别方法及系统 Pending CN114065920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111371531.8A CN114065920A (zh) 2021-11-18 2021-11-18 一种基于通道级剪枝神经网络的图像识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111371531.8A CN114065920A (zh) 2021-11-18 2021-11-18 一种基于通道级剪枝神经网络的图像识别方法及系统

Publications (1)

Publication Number Publication Date
CN114065920A true CN114065920A (zh) 2022-02-18

Family

ID=80278161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111371531.8A Pending CN114065920A (zh) 2021-11-18 2021-11-18 一种基于通道级剪枝神经网络的图像识别方法及系统

Country Status (1)

Country Link
CN (1) CN114065920A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170902A (zh) * 2022-06-20 2022-10-11 美的集团(上海)有限公司 图像处理模型的训练方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170902A (zh) * 2022-06-20 2022-10-11 美的集团(上海)有限公司 图像处理模型的训练方法
CN115170902B (zh) * 2022-06-20 2024-03-08 美的集团(上海)有限公司 图像处理模型的训练方法

Similar Documents

Publication Publication Date Title
He et al. Asymptotic soft filter pruning for deep convolutional neural networks
He et al. Soft filter pruning for accelerating deep convolutional neural networks
CN113537138B (zh) 一种基于轻量化神经网络的交通标志识别方法
CN111723915B (zh) 一种基于深度卷积神经网络的目标检测方法
CN113593611B (zh) 语音分类网络训练方法、装置、计算设备及存储介质
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN111950656B (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
CN109284761B (zh) 一种图像特征提取方法、装置、设备及可读存储介质
CN113657421B (zh) 卷积神经网络压缩方法和装置、图像分类方法和装置
CN111782826A (zh) 知识图谱的信息处理方法、装置、设备及存储介质
CN111898735A (zh) 蒸馏学习方法、装置、计算机设备和存储介质
CN114239861A (zh) 基于多教师联合指导量化的模型压缩方法及系统
CN115222950A (zh) 一种面向嵌入式平台的轻量化目标检测方法
CN114429208A (zh) 基于残差结构剪枝的模型压缩方法、装置、设备及介质
CN116977763A (zh) 模型训练方法、装置、计算机可读存储介质及计算机设备
CN114065920A (zh) 一种基于通道级剪枝神经网络的图像识别方法及系统
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN113408704A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN112613604A (zh) 神经网络的量化方法及装置
CN116128044A (zh) 一种模型剪枝方法、图像处理方法及相关装置
CN113505804A (zh) 一种基于压缩深度神经网络的图像识别方法及系统
CN116109868A (zh) 基于轻量化神经网络的图像分类模型构建和小样本图像分类方法
CN112200275B (zh) 人工神经网络的量化方法及装置
CN116129158A (zh) 一种输电线路铁塔小部件图像识别方法及装置
CN113592085A (zh) 一种基于高秩卷积图的核剪枝方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination