CN113032150A - 卷积神经网络模型的剪裁方法及智能工控系统 - Google Patents
卷积神经网络模型的剪裁方法及智能工控系统 Download PDFInfo
- Publication number
- CN113032150A CN113032150A CN202110338871.4A CN202110338871A CN113032150A CN 113032150 A CN113032150 A CN 113032150A CN 202110338871 A CN202110338871 A CN 202110338871A CN 113032150 A CN113032150 A CN 113032150A
- Authority
- CN
- China
- Prior art keywords
- iteration
- model
- neural network
- target element
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 29
- 238000005520 cutting process Methods 0.000 title abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 11
- 230000014509 gene expression Effects 0.000 claims description 21
- 210000002569 neuron Anatomy 0.000 claims description 15
- 230000014759 maintenance of location Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 6
- 238000013138 pruning Methods 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 7
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 10
- 238000013136 deep learning model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种卷积神经网络模型的剪裁方法及智能工控系统,属于深度学习技术领域,本申请的方法包括,选取卷积神经网络模型中要进行剪裁的目标元素;在模型迭代训练中,对模型中各目标元素的度量值在前预定轮次迭代中的变化进行统计计算,得到各目标元素的度量值在前预定轮次迭代中的变化量;将各变化量与评价阈值分别进行比较判断,当变化量大于等于评价阈值时,确定该变化量所对应的目标元素在后续轮次迭代中保留,否则确定该变化量所对应的目标元素在后续轮次迭代中删除。本申请可有效得到满足边缘计算要求的卷积神经网络模型。
Description
技术领域
本申请属于深度学习技术领域,具体涉及一种卷积神经网络模型的剪裁方法 及智能工控系统。
背景技术
工业控制系统广泛应用于电力、石油石化、交通、水利、钢铁、先进制造等 基础设施,是国家经济发展的支柱。目前,独立、隔离的传统工控领域迎来了新 的大数据互联时代——工业互联网。当前接入互联网的智能工控系统通常是由边 缘计算层、云数据中心以及智能计算层组成的“边云”协同架构。边缘计算层通 过收集底层设备基础信息及运行数据,进行边缘侧智能计算,并根据实时性要求, 将数据上传到云中心;云数据中心是数据的汇集,为上层数据挖掘提供基础数据。
深度学习是当前智能计算的重要内容,深度学习算法在机器视觉、自然语言 处理、语音识别等多个领域中取得了突破性的进展,但训练及应用深度学习模型 的计算量非常大。而边缘计算强调的是计算在物理上接近信息生成源,虽然带来 了低延迟、带宽占用减少、及时性和环境敏感性等好处,但工控系统边缘侧有限 的算力制约了其智能计算的发展,如工程实践中存在深度学习算法在工控领域边 缘计算中难以落地的问题。
针对深度学习算法在工控领域边缘计算中难以落地的问题,进行深度学习模 型压缩(如进行模型剪裁)是解决该问题的有效方法。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有 技术。
发明内容
为至少在一定程度上克服相关技术中存在的问题,本申请提供一种卷积神经 网络模型的剪裁方法,采用卷积神经网络中目标元素的变化作为剪裁的度量依据, 基于其变化值符合泊松分布的特性,计算其保留或剪裁的概率,以进行模型剪裁, 从而有效得到满足边缘计算要求的卷积神经网络模型。
为实现以上目的,本申请采用如下技术方案:
第一方面,
本申请提供一种卷积神经网络模型的剪裁方法,该方法包括:
选取卷积神经网络模型中要进行剪裁的目标元素;
在模型迭代训练中,对模型中各目标元素的度量值在前预定轮次迭代中的变 化进行统计计算,得到各所述目标元素的度量值在前预定轮次迭代中的变化量;
将各所述变化量与评价阈值分别进行比较判断,当所述变化量大于等于所述 评价阈值时,确定该变化量所对应的目标元素在后续轮次迭代中保留,否则确定 该变化量所对应的目标元素在后续轮次迭代中删除;
其中,所述目标元素包括卷积模板,卷积模板的度量值为卷积模板的权值。
可选地,基于以下表达式,对模型中各卷积模板的度量值在前预定轮次迭代 中的变化进行统计计算:
其中,
m表示卷积模板的行数,n表示卷积模板的列数,t表示迭代次数,
ytk表示第k个卷积模板在前预定轮次迭代中一次迭代中权值的变化量,
Δ(Yp,q)k表示第k个卷积模板在p次到q次的迭代轮次中权值的变化量。
可选地,基于以下表达式,将各所述变化量与评价阈值分别进行比较判断, 确定目标元素在后续轮次迭代中保留或删除:
可选地,所述剪裁方法还包括,基于以下表达式,在所述后续轮次迭代中对 子网络进行更新:
其中,
T表示p到q次迭代,T+1表示p+q到p+2q次迭代,
可选地,所述评价阈值的值基于所述模型在剪裁训练实验中的实验结果来预 先设定。
可选地,
所述目标元素还包括神经元,神经元的度量值为神经元的权值;
所述目标元素还包括特征图,特征图的度量值为特征图的秩。
第二方面,
本申请提供一种智能工控系统,所述系统基于其内置的第一卷积神经网络模 型进行智能计算;
其中,所述第一卷积神经网络模型具体为,对其对应的初始卷积神经网络模 型采用上述所述的方法进行剪裁而得到的模型。
本申请采用以上技术方案,至少具备以下有益效果:
本申请的技术方案,采用卷积神经网络中目标元素的变化作为剪裁的度量依 据,基于其变化值符合泊松分布的特性,计算其保留或剪裁的概率,以进行模型 剪裁,进而可有效得到满足边缘计算要求的卷积神经网络模型。
本发明的其他优点、目标,和特征在某种程度上将在随后的说明书中进行阐 述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而 易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通 过下面的说明书,权利要求书,以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请的技术方案或现有技术的进一步理解,并且构成说明 书的一部分。其中,表达本申请实施例的附图与本申请的实施例一起用于解释本 申请的技术方案,但并不构成对本申请技术方案的限制。
图1为本申请一个实施例提供的卷积神经网络模型的剪裁方法的流程示意图;
图2为本申请中进行评价阈值的取值确定的流程示意图;
图3为采用本申请中剪裁方法和采用传统算法的实验效果对比说明示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将对本申请的技术方案 进行详细的描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全 部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳 动的前提下所得到的所有其它实施方式,都属于本申请所保护的范围。
如背景技术中所述,现有相关技术中,由于算力限制,深度学习算法在工控 领域边缘计算中难以落地,而进行深度学习模型压缩是解决该问题的有效方法。
在深度学习模型压缩的相关技术中,卷积神经网络的模型压缩可以分为浅层 压缩和深层压缩两类。其中浅层压缩方法主要通过减少参数和模型层次,主要包 括滤波器级别的剪枝、知识蒸馏,浅层压缩不会改变网络的结构。而深层压缩会 改变卷积核或者网络层级结构,包括量化、轻量级网络设计、结构搜索方法。
模型剪裁属于轻量级网络设计的范畴,传统剪裁流程一般包括:预训练原始 模型;按照某种规则,对滤波器进行排序;保留排序靠前的一定比例滤波器,其 余被剪裁;对剪裁后的模型进行微调再训练,最后达到相同甚至比原模型更高的 精度。
相关的模型剪裁方法主要有:权重剪裁、通道剪裁、核剪裁、神经元剪裁, 下文表1为这几类方法的原理介绍和优缺点:
表1现有模型剪裁方法的原理及优缺点
传统的模型压缩方法,采用随机的方法,对全链接层神经元直接剪裁;或者 采用卷积模板一范数、特征图的秩的大小为尺度进行度量,将值小的认为不重要, 在迭代过程中尽早针对范数或秩中较小的值直接剪裁。然而申请人基于实践中发 现,在卷积过程中,值小不一定不重要,采用现有的模型剪裁方法不能有效得到 所需的模型。
剪裁的基本思想是在迭代过程中尽早剪裁掉无用的元素,筛选出有效的子网 络。泊松分布是一种经验分布,本申请中采用模型中卷积模板等元素的变化作为 剪裁的度量依据,基于剪裁和保留的概率符合泊松分布的思想,即当元素的度量 值在前预定次迭代中变化很小,甚至不变化,则认为在后面的迭代中变化可能性 小,后续迭代不再计算,以此减小计算量。
在一实施例中,如图1所示,本申请中的卷积神经网络模型的剪裁方法包括:
步骤S110,选取卷积神经网络模型中要进行剪裁的目标元素;
具体的,该实例中选取的目标元素为卷积模板。
步骤S120,在模型迭代训练中,对模型中各目标元素的度量值在前预定轮次 迭代中的变化进行统计计算,得到各目标元素的度量值在前预定轮次迭代中的变 化量,基于选取的目标元素为卷积模板,步骤S120中,卷积模板(目标元素) 的度量值为卷积模板的权值;
具体的,步骤S120中,在具体实现中,基于以下表达式(1)、(2),对模型 中各卷积模板的度量值在前预定轮次迭代中的变化进行统计计算:
表达式(1)中,
m表示卷积模板的行数,n表示卷积模板的列数,t表示迭代次数,
yt k表示第k个卷积模板在前预定轮次迭代中一次迭代中权值的变化量,
表达式(2)中,
Δ(Yp,q)k表示第k个卷积模板在p次到q次的迭代轮次中权值的变化量。
得到各目标元素的度量值在前预定轮次迭代中的变化量后,,继续进行步骤S130,
将步骤S120中各变化量与评价阈值分别进行比较判断,当变化量大于等于 评价阈值时,确定该变化量所对应的目标元素在后续轮次迭代中保留,否则确定 该变化量所对应的目标元素在后续轮次迭代中删除;
具体的,步骤S130中,基于以表达式(3),将各变化量与评价阈值分别进 行比较判断,确定目标元素在后续轮次迭代中保留或删除:
表达式(3)中,
需要说明的是,该步骤中,评价阈值的值基于模型在剪裁训练实验中的实验 结果来预先设定(图2所示为评价阈值的取值确定的流程示意图),通过对实验 后的各实验结果中进行对比,综合损失率和测试的结果,选择实验结果最好的值 作为评价阈值的取值。
这里再对该实施例中,如何在后续轮次迭代中对子网络(裁剪后留下的网络) 进行更新的相关内容进行一下介绍。
具体的,基于以下表达式(4)、(5),在后续轮次迭代中对子网络进行更新,
上述表达式(4)、(5)中,
T表示p到q次迭代,T+1表示p+q到p+2q次迭代,
此外,容易理解的是,实际进行剪裁过程中,还可选取目标元素为神经元或 特征图来进行模型剪裁(其相关实现表达式与表达式(1)至(5)形式类似)。
本申请的技术方案,采用卷积神经网络中目标元素的变化作为剪裁的度量依 据,基于其变化值符合泊松分布的特性,计算其保留或剪裁的概率,以进行模型 剪裁,进而可有效得到满足边缘计算要求的卷积神经网络模型。
基于实验进行效果对比,在图像识别系统中的卷积神经网络的全连接层采用 了基于泊松分布的神经元剪裁方法,其损失率的变化图果如图3中右侧图所示; 采用传统dropout的剪裁方法,即基于贝努力分布假设的卷积神经网络全连接层 的剪裁,其损失率的变化如图3中左侧图所示。
训练过程中,图3右侧图基于泊松分布进行子网络筛选,每500次循环,损 失值会迅速下降到极小值,且低于左侧图的值;而下一个周期时,左侧图的损失 值急剧上升、震荡,这是因为对网络架构有消极作用的神经元再次被激活,右侧 图比左侧图相对平稳,且在2000步时损失率达到了0.14以下,收敛速度更快。
换言之,基于实验可以证明,采用本申请的剪裁方法相比采用传统算法,得 到卷积神经网络模型的损失值的下降曲线更平滑,训练更快。
本申请的一实施例中还提供了一种智能工控系统,该系统基于其内置的第一 卷积神经网络模型进行智能计算;
这里的第一卷积神经网络模型具体为,对其对应的初始卷积神经网络模型采 用上述剪裁的方法进行剪裁而得到的模型。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限 于此,任何熟悉该技术的人员在本发明所揭露的技术范围内,可轻易想到的变化 或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权 利要求的保护范围为准。
Claims (7)
1.一种卷积神经网络模型的剪裁方法,其特征在于,包括:
选取卷积神经网络模型中要进行剪裁的目标元素;
在模型迭代训练中,对模型中各目标元素的度量值在前预定轮次迭代中的变化进行统计计算,得到各所述目标元素的度量值在前预定轮次迭代中的变化量;
将各所述变化量与评价阈值分别进行比较判断,当所述变化量大于等于所述评价阈值时,确定该变化量所对应的目标元素在后续轮次迭代中保留,否则确定该变化量所对应的目标元素在后续轮次迭代中删除;
其中,所述目标元素包括卷积模板,卷积模板的度量值为卷积模板的权值。
5.根据权利要求1所述的剪裁方法,其特征在于,所述评价阈值的值基于所述模型在剪裁训练实验中的实验结果来预先设定。
6.根据权利要求1所述的剪裁方法,其特征在于,
所述目标元素还包括神经元,神经元的度量值为神经元的权值;
所述目标元素还包括特征图,特征图的度量值为特征图的秩。
7.一种智能工控系统,其特征在于,所述系统基于其内置的第一卷积神经网络模型进行智能计算;
其中,所述第一卷积神经网络模型具体为,对其对应的初始卷积神经网络模型采用权利要求1至6中任一项所述的方法进行剪裁而得到的模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110338871.4A CN113032150A (zh) | 2021-03-30 | 2021-03-30 | 卷积神经网络模型的剪裁方法及智能工控系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110338871.4A CN113032150A (zh) | 2021-03-30 | 2021-03-30 | 卷积神经网络模型的剪裁方法及智能工控系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113032150A true CN113032150A (zh) | 2021-06-25 |
Family
ID=76452929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110338871.4A Pending CN113032150A (zh) | 2021-03-30 | 2021-03-30 | 卷积神经网络模型的剪裁方法及智能工控系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113032150A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113985475A (zh) * | 2021-10-28 | 2022-01-28 | 北京石油化工学院 | 一种基于物联网端边云协同的微地震监测数据传输方法 |
-
2021
- 2021-03-30 CN CN202110338871.4A patent/CN113032150A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113985475A (zh) * | 2021-10-28 | 2022-01-28 | 北京石油化工学院 | 一种基于物联网端边云协同的微地震监测数据传输方法 |
CN113985475B (zh) * | 2021-10-28 | 2023-09-05 | 北京石油化工学院 | 一种基于物联网端边云协同的微地震监测数据传输方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110782658B (zh) | 一种基于LightGBM算法的交通量预测方法 | |
CN106648654A (zh) | 一种数据感知的Spark配置参数自动优化方法 | |
CN110245783B (zh) | 一种基于c-均值聚类模糊粗糙集的短期负荷预测方法 | |
CN110555989A (zh) | 一种基于Xgboost算法的交通量预测方法 | |
CN109214579B (zh) | 基于bp神经网络的盐碱地稳定性预测方法及系统 | |
CN111652264B (zh) | 基于最大均值差异的负迁移样本筛选方法 | |
CN112529638B (zh) | 基于用户分类和深度学习的服务需求动态预测方法及系统 | |
CN113822419B (zh) | 一种基于结构信息的自监督图表示学习运行方法 | |
CN113344243B (zh) | 基于改进哈里斯鹰算法优化elm的风速预测方法及系统 | |
Pecori et al. | Incremental learning of fuzzy decision trees for streaming data classification | |
CN111709468A (zh) | 一种定向人工智能的训练方法、装置及存储介质 | |
CN114139783A (zh) | 基于非线性加权组合的风电短期功率预测方法及装置 | |
CN113095511A (zh) | 一种在自动化主站实现操作到位的判断方法及装置 | |
CN111461324A (zh) | 基于层恢复敏感度的分级剪枝方法 | |
CN113032150A (zh) | 卷积神经网络模型的剪裁方法及智能工控系统 | |
CN112132062B (zh) | 一种基于剪枝压缩神经网络的遥感图像分类方法 | |
CN113516163B (zh) | 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质 | |
CN112200208B (zh) | 基于多维度特征融合的云工作流任务执行时间预测方法 | |
CN110706004B (zh) | 一种基于层次聚类的农田重金属污染物溯源方法 | |
CN116911459A (zh) | 适应于虚拟电厂的多输入多输出超短期电力负荷预测方法 | |
CN117034060A (zh) | 基于ae-rcnn的洪水分级智能预报方法 | |
CN112529637B (zh) | 基于情景感知的服务需求动态预测方法及系统 | |
CN116011331A (zh) | 一种基于物联网的灌溉决策方法及装置 | |
CN116245162A (zh) | 基于改进自适应遗传算法的神经网络剪枝方法及系统 | |
CN116188834A (zh) | 基于自适应训练模型的全切片图像分类方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |