CN112215334A - 一种面向事件相机的神经网络模型压缩方法 - Google Patents
一种面向事件相机的神经网络模型压缩方法 Download PDFInfo
- Publication number
- CN112215334A CN112215334A CN202011016049.8A CN202011016049A CN112215334A CN 112215334 A CN112215334 A CN 112215334A CN 202011016049 A CN202011016049 A CN 202011016049A CN 112215334 A CN112215334 A CN 112215334A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- training
- model
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000006835 compression Effects 0.000 title claims abstract description 11
- 238000007906 compression Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000013138 pruning Methods 0.000 claims abstract description 18
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 10
- 238000004519 manufacturing process Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 12
- 238000013459 approach Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 241000372285 Isanda Species 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 13
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于神经网络模型压缩技术领域，特别涉及一种面向事件相机的神经网络模型压缩方法，包括步骤：从事件相机获取事件流数据，生成事件图像，完成数据集制作；构建神经网络模型，并利用预训练模型初始化所述神经网络模型参数，之后利用数据集进行训练，得到神经网络模型的基础网络；设置学习率，对基础网络进行稀疏训练；对经过稀疏训练后的神经网络模型进行通道剪枝和层剪枝；利用知识蒸馏方法，对经过剪枝后的神经网络模型进行微调；对经过微调后的神经网络模型进行量化训练，进一步压缩神经网络模型大小。本发明通过对神经网络模型进行剪枝和量化，降低模型的大小，提高了模型在嵌入式平台上进行目标检测的速度。
Description
技术领域
本发明属于神经网络模型压缩技术领域，特别涉及一种面向事件相机的神经网络模型压缩方法。
背景技术
人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。利用神经网络可以对图片进行目标检测，类似于人脑功能一样，分辨出图片中的物体是什么以及位于图片的什么位置。
一些卷积神经网络在某些数据集上的表现甚至超过了人类的图片分辨能力，就如同AlphaGo能够战胜人类一样。但是效果好的卷积神经网络往往被设计的非常复杂、网络模型占用的空间大，而且计算量很大。这些均不利于目标检测算法在计算资源有限的嵌入式设备(如无人机、手机、可穿戴设备等)中布置。
事件相机，是一种受生物启发的视觉传感器，输出像素级亮度变化而不是标准强度帧。事件相机输出结果是以微秒时间分辨率的事件流，相当于以每秒数千帧的速度运行的传统视觉传感器，但是数据量要少得多。与传统相机相比，事件相机具有明显的优势，即非常高的动态范围，无运动模糊，以及微秒级的延迟。
发明内容
针对现有技术存在的如下问题：神经网络中存在着许多对检测影响不大的参数，特别是只检测一两个目标时，去掉一些参数基本不会影响检测的精度；神经网络模型的参数都是用的32bit长度的浮点型数表示，实际上不需要保留那么高的精度，可以通过量化，比如用0-255表示原来32个bit所表示的精度，通过牺牲精度来降低每一个权值所需要占用的空间。本发明提供了一种面向嵌入式平台的神经网络模型压缩方法，本方法通过对神经网络模型进行剪枝和量化，降低模型的大小，提高模型在嵌入式平台上进行目标检测的速度。
本发明提供了一种面向事件相机的神经网络模型压缩方法，包括如下步骤：
S1:从事件相机获取事件流数据，并将事件流数据累计一定时间间隔，生成事件图像，之后对事件图像中的目标进行标注，完成数据集制作；
S2：构建神经网络模型，并利用预训练模型初始化所述神经网络模型参数，之后利用步骤S1中制作的数据集进行训练，得到神经网络模型的基础网络；
S3：设置学习率，对基础网络进行稀疏训练，得到稀疏训练后的神经网络模型；
S4：对经过稀疏训练后的神经网络模型进行通道剪枝和层剪枝；
S5：利用知识蒸馏方法，对经过剪枝后的神经网络模型进行微调；
S6：对经过微调后的神经网络模型进行量化训练，进一步压缩神经网络模型大小。
进一步，步骤S3中对基础网络进行稀疏训练具体过程为：
在目标函数中增加一个关于参数γ的L1正则项，此时目标函数为：
其中，将BN层的参数γ作为神经网络模型的缩放因子；L是目标函数；(x,y)是训练输入和目标；f(x,W)是神经网络模型预测值；W是神经网络模型中的可训练参数，l是基础网络的训练损失函数；g(.)是在缩放因子上的惩罚项，对于任意一个变量s，g(s)＝|s|；λ是
和
两项的平衡因子；
进行稀疏化训练后，神经网络模型的多个缩放因子会趋近于零。
进一步，步骤S4具体过程为：
为整个神经网络模型设定全局阈值p；
对缩放因子的绝对值进行排序，根据全局阈值p剪掉绝对值较小的缩放因子对应的通道；
对每一个shortcut层的前一层的参数γ进行排序；
对参数γ较小的层进行层剪枝，减去对应的shortcut层以及shortcut前面的两层。
进一步，步骤S5具体过程为：
将步骤S2中得到的基础网络作为教师网络，步骤S4剪枝后的神经网络模型作为学生网络，利用式(2)对所述教师网络进行蒸馏得到教师网络的概率分布：
其中，T_Prob是教师网络的概率分布，zi是最后一层第i个神经元的输出，T是知识蒸馏的温度，j是总共的类别数。
所述学生网络通过KL散度学习得到所述教师网络的概率分布：
其中，KL(T_Prob||S_Prob)是教师网络和学生网络之间的KL散度，S_Prob是学生网络的概率分布，x代表不同类别的目标。
本发明的有益效果：
1)通过通道剪枝，可以去掉一部分对于检测效果影响不大的参数，在损失精度很小的情况下，压缩模型的大小，提高目标检测的速度；
2)在剪枝后使用知识蒸馏利用老师网络训练学生网络，可以帮助剪枝后的网络更快的恢复精度；
3)对模型进行量化处理，可以进一步压缩模型的大小，提升检测速度，便于在嵌入式设备上面部署。
附图说明
图1为本发明实施例的面向事件相机的神经网络模型压缩方法流程图；
图2为本实施例在基础训练时平均精度均值(mAP)随着训练迭代次数的变化图；
图3为本实施例在稀疏训练时平均精度均值(mAP)随着训练迭代次数的变化图；
图4为本实施例在知识蒸馏时平均精度均值(mAP)随着训练迭代次数的变化图；
图5为本实施例检测的效果图。
具体实施方式
下面结合附图和实施例进一步描述本发明，应该理解，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
本实施例以对行人检测的神经网络进行模型压缩为例，如图1所示，具体包括如下步骤：
S1:从事件相机获取事件流数据，并将事件流数据累计一定时间间隔，生成事件图像，之后对事件图像中的目标进行标注，完成数据集制作。
S2：构建神经网络模型，并利用预训练模型初始化所述神经网络模型参数，之后利用数据集进行训练，得到神经网络模型的基础网络。图2示出了本实施例在基础训练时平均精度均值(mAP)随着训练迭代次数的变化图，最后可以得到基础网络。
S3：设置学习率，对基础网络进行稀疏训练，得到稀疏训练后的神经网络模型。包括以下步骤：
S3.1：在目标函数中增加一个关于γ的L1正则项，此时目标函数L为：
其中，将BN层的参数γ作为神经网络模型的缩放因子；(x,y)是训练输入和目标，f(x,W)是神经网络模型预测值，W是网络中可训练参数，l是基础网络的训练损失函数，g(.)是在缩放因子上的惩罚项，对于任意一个变量s，g(s)＝|s|，即L1-正则化，被广泛地用于稀疏化。λ是
和
两项的平衡因子。有利地，本发明直接将BN层的γ参数作为本神经网络瘦身的缩放因子，可以避免给网络带来额外的成本。
S3.2：对基础网络进行稀疏化训练，模型中许多缩放因子会趋近于零。图3为本实施例在稀疏训练时mAP随着训练迭代次数的变化图，从图中可以看出，稀疏训练时mAP基本没有变化。
S4：对经过稀疏训练后的神经网络模型进行通道剪枝和层剪枝。具体过程为：
S4.1：为整个网络设定全局阈值p；
S4.2：对缩放因子的绝对值进行排序，根据全局阈值p剪掉绝对值较小的缩放因子对应的通道；
S4.3：对每一个shortcut层的前一层的参数γ进行排序。
S4.4：对参数γ较小的层进行层剪枝，减去对应的shortcut层以及shortcut前面的两层。
S5：利用知识蒸馏方法，对经过剪枝后的神经网络模型进行微调。
将步骤S2中得到的基础网络作为教师网络，步骤S4剪枝后的神经网络模型作为学生网络，利用式(2)对所述教师网络进行蒸馏得到教师网络的概率分布：
其中，T_Prob是教师网络的概率分布，zi是最后一层第i个神经元的输出，T是知识蒸馏的温度，j是总共的类别数。
所述学生网络通过KL散度学习得到所述教师网路的概率分布：
其中，KL(T_Prob||S_Prob)是教师网络和学生网络之间的KL散度，S_Prob是学生网络的概率分布，x代表不同类别的目标。
图4为本实施例在知识蒸馏时mAP随着训练迭代次数的变化图，mAP最终会恢复到0.95左右。
S6：对经过微调后的神经网络模型进行量化训练，进一步压缩神经网络模型大小。图5为本实施例检测的效果图，从图中可以看出，利用本发明的压缩方法可以将事件相机拍摄到的人检测出来。
对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以对本发明的实施例做出若干变型和改进，这些都属于本发明的保护范围。
Claims (4)
1.一种面向事件相机的神经网络模型压缩方法，其特征在于，包括如下步骤：
S1:从事件相机获取事件流数据，并将事件流数据累计一定时间间隔，生成事件图像，之后对事件图像中的目标进行标注，完成数据集制作；
S2：构建神经网络模型，并利用预训练模型初始化所述神经网络模型参数，之后利用步骤S1中制作的数据集进行训练，得到神经网络模型的基础网络；
S3：设置学习率，对基础网络进行稀疏训练，得到稀疏训练后的神经网络模型；
S4：对经过稀疏训练后的神经网络模型进行通道剪枝和层剪枝；
S5：利用知识蒸馏方法，对经过剪枝后的神经网络模型进行微调；
S6：对经过微调后的神经网络模型进行量化训练，进一步压缩神经网络模型大小。
2.根据权利要求1所述的方法，其特征在于，步骤S3中对基础网络进行稀疏训练具体过程为：
在目标函数中增加一个关于参数γ的L1正则项，此时目标函数为：
其中，将BN层的参数γ作为神经网络模型的缩放因子；L是目标函数；(x,y)是训练输入和目标；f(x,W)是神经网络模型预测值；W是神经网络模型中的可训练参数，l是基础网络的训练损失函数；g(.)是在缩放因子上的惩罚项，对于任意一个变量s，g(s)＝|s|；λ是
和
两项的平衡因子；
进行稀疏化训练后，神经网络模型的多个缩放因子会趋近于零。
3.根据权利要求2所述的方法，其特征在于，步骤S4具体过程为：
为整个神经网络模型设定全局阈值p；
对缩放因子的绝对值进行排序，根据全局阈值p剪掉绝对值较小的缩放因子对应的通道；
对每一个shortcut层的前一层的参数γ进行排序；
对参数γ较小的层进行层剪枝，减去对应的shortcut层以及shortcut前面的两层。
4.根据权利要求1所述的方法，其特征在于，步骤S5具体过程为：
将步骤S2中得到的基础网络作为教师网络，步骤S4剪枝后的神经网络模型作为学生网络，利用式(2)对所述教师网络进行蒸馏得到教师网络的概率分布：
其中，T_Prob是教师网络的概率分布，zi是最后一层第i个神经元的输出，T是知识蒸馏的温度，j是总共的类别数；
所述学生网络通过KL散度学习得到所述教师网络的概率分布：
其中，KL(T_Prob||S_Prob)是教师网络和学生网络之间的KL散度，S_Prob是学生网络的概率分布，x代表不同类别的目标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011016049.8A CN112215334A (zh) | 2020-09-24 | 2020-09-24 | 一种面向事件相机的神经网络模型压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011016049.8A CN112215334A (zh) | 2020-09-24 | 2020-09-24 | 一种面向事件相机的神经网络模型压缩方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112215334A true CN112215334A (zh) | 2021-01-12 |
Family
ID=74052393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011016049.8A Pending CN112215334A (zh) | 2020-09-24 | 2020-09-24 | 一种面向事件相机的神经网络模型压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215334A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408571A (zh) * | 2021-05-08 | 2021-09-17 | 浙江智慧视频安防创新中心有限公司 | 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端 |
| CN113627537A (zh) * | 2021-08-12 | 2021-11-09 | 科大讯飞股份有限公司 | 一种图像识别方法、装置、存储介质及设备 |
| CN114445688A (zh) * | 2022-01-14 | 2022-05-06 | 北京航空航天大学 | 一种分布式多相机球形无人系统目标检测方法 |
| CN114943832A (zh) * | 2022-03-10 | 2022-08-26 | 北京航空航天大学 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
| CN115017948A (zh) * | 2022-06-02 | 2022-09-06 | 电子科技大学 | 一种智能信号检测识别模型的轻量化处理方法 |
-
2020
- 2020-09-24 CN CN202011016049.8A patent/CN112215334A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408571A (zh) * | 2021-05-08 | 2021-09-17 | 浙江智慧视频安防创新中心有限公司 | 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端 |
| CN113627537A (zh) * | 2021-08-12 | 2021-11-09 | 科大讯飞股份有限公司 | 一种图像识别方法、装置、存储介质及设备 |
| CN113627537B (zh) * | 2021-08-12 | 2023-12-01 | 科大讯飞股份有限公司 | 一种图像识别方法、装置、存储介质及设备 |
| CN114445688A (zh) * | 2022-01-14 | 2022-05-06 | 北京航空航天大学 | 一种分布式多相机球形无人系统目标检测方法 |
| CN114445688B (zh) * | 2022-01-14 | 2024-06-04 | 北京航空航天大学 | 一种分布式多相机球形无人系统目标检测方法 |
| CN114943832A (zh) * | 2022-03-10 | 2022-08-26 | 北京航空航天大学 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
| CN114943832B (zh) * | 2022-03-10 | 2024-08-02 | 北京航空航天大学 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
| CN115017948A (zh) * | 2022-06-02 | 2022-09-06 | 电子科技大学 | 一种智能信号检测识别模型的轻量化处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112215334A (zh) | 一种面向事件相机的神经网络模型压缩方法 | |
| CN111882002B (zh) | 一种基于msf-am的低照度目标检测方法 | |
| CN107945204B (zh) | 一种基于生成对抗网络的像素级人像抠图方法 | |
| CN113537138B (zh) | 一种基于轻量化神经网络的交通标志识别方法 | |
| CN108765506B (zh) | 基于逐层网络二值化的压缩方法 | |
| CN108960189B (zh) | 图像再识别方法、装置及电子设备 | |
| CN108073876B (zh) | 面部解析设备和面部解析方法 | |
| US20190258917A1 (en) | Low precision neural networks using suband decomposition | |
| RU2476825C2 (ru) | Способ управления движущимся объектом и устройство для его осуществления | |
| CN113221787A (zh) | 基于多元差异性融合的行人多目标跟踪方法 | |
| CN110738160A (zh) | 一种结合人脸检测的人脸质量评估方法 | |
| CN110135446B (zh) | 文本检测方法及计算机存储介质 | |
| CN111127360B (zh) | 一种基于自动编码器的灰度图像迁移学习方法 | |
| CN112132005A (zh) | 一种基于聚类分析与模型压缩的人脸检测方法 | |
| CN111105017A (zh) | 神经网络量化方法、装置及电子设备 | |
| CN113420794B (zh) | 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN109919246A (zh) | 基于自适应特征聚类和多重损失融合的行人重识别方法 | |
| CN113095470A (zh) | 神经网络的训练方法、图像处理方法及装置、存储介质 | |
| CN111104911A (zh) | 一种基于大数据训练的行人重识别方法及装置 | |
| CN114495006A (zh) | 遗留物体的检测方法、装置及存储介质 | |
| CN109508640A (zh) | 一种人群情感分析方法、装置和存储介质 | |
| CN114708615A (zh) | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 | |
| CN112308213A (zh) | 一种基于全局特征关系的卷积神经网络压缩方法 | |
| CN116956997A (zh) | 用于时序数据处理的lstm模型量化重训练方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210112 |