CN112364992A - 一种场景约束的智能网络搜索的模型剪枝方法 - Google Patents
一种场景约束的智能网络搜索的模型剪枝方法 Download PDFInfo
- Publication number
- CN112364992A CN112364992A CN202011374591.0A CN202011374591A CN112364992A CN 112364992 A CN112364992 A CN 112364992A CN 202011374591 A CN202011374591 A CN 202011374591A CN 112364992 A CN112364992 A CN 112364992A
- Authority
- CN
- China
- Prior art keywords
- network
- scene
- subnetwork
- training
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 238000010200 validation analysis Methods 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 10
- 238000012821 model calculation Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种场景约束的智能网络搜索的模型剪枝方法，包括以下步骤：1、构建包含参数θ和w的有向无环图G＝(V，E)，准备好训练集Xtrain和验证集Xval；2、设置训练损失函数和验证损失函数；3、在N个epoch下通过梯度下降算法进行参数θ和w的迭代计算Ltrain，将得到的参数用于计算Lval从而用来更新子网络a直至收敛；4、对于最优子网络a进行重新训练，消除训练中的不稳定性，得出最优子网络提出了一种在场景约束的智能网络搜索的模型剪枝方法，在不改变网络拓扑结构的基础上，搜索策略寻找最优子网络，并与模型剪枝技术手段相结合，通过减少神经网络的通道数，从而达到降低模型计算成本的目的。
Description
技术领域
本发明涉及模型剪枝、神经网络搜索、深度学习领域，特别涉及一种场景约束的智能网络搜索的模型剪枝方法。
背景技术
随着深度学习的广泛运用，越来越多复杂的模型在不同的领域中的表现远超于其他的传统方法。然而这些模型的提出依据了大量的专家经验并消耗大量实验资源，且在移动端部署时面临着巨大的挑战。为了降低模型计算成本，神经网络结构搜索(NAS)、剪枝、量化和模型蒸馏等技术不断的被提出。
模型剪枝是降低模型冗余参数，减少模型过拟合的一种手段，能够有效降低模型的计算成本。然而现有的模型剪枝手段都需要人工经验且实现成本巨大。
NAS是一种用来自动设计神经网络结构的技术，可以在场景条件的约束下自动搜索解空间，并通过评价策略选出网络结构最优解。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，提供一种场景约束的智能网络搜索的模型剪枝方法，在不改变网络拓扑结构的基础上，搜索策略寻找最优子网络，并与模型剪枝技术手段相结合，通过减少神经网络的通道数，从而达到降低模型计算成本的目的。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种场景约束的智能网络搜索的模型剪枝方法，包括以下步骤：
S1、构建包含参数θ和w的有向无环图G＝(V，E)，准备好训练集Xtrain和验证集Xval；
S2、设置训练损失函数和验证损失函数；
S3、在N个epoch下通过梯度下降算法进行参数θ和w的迭代计算Ltrain，将得到的参数用于计算Lval从而用来更新子网络a直至收敛；
S4、对于最优子网络a进行重新训练，消除训练中的不稳定性，得出最优子网络。
与现有技术相比，本发明的有益效果如下：
本发明提出了一种在场景约束的智能网络搜索的模型剪枝方法，在不改变网络拓扑结构的基础上，搜索策略寻找最优子网络，并与模型剪枝技术手段相结合，通过减少神经网络的通道数，从而达到降低模型计算成本的目的。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的该算法神经网络搜索及反向传播的示意图；
图2是本发明的该算法发明的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
假设未经过剪枝的神经网络，定义为超网络A。模型剪枝的目的在于减少网络每层的通道数(宽度)且不改变网络拓扑结构，即寻找最优子网络结构
使得a的预测性能尽可能与一致。
如图1，将神经网络抽象成一个有向无环图G＝(V，E)，其中结点vi∈V代表网络的每一层，边
代表相邻节点vi和vj之间k个通道连接，其中0＜i＜j≤n,
n为图节点的个数，
为第vj个节点的输入的最大通道数。那么显然满足等式如下：
引入参数θij,使得节点vij之间连接的分布满足如下：
对于所有节点vij∈V，用θ来表示节点与节点之间的集合，即θ＝{θ12，...，θij，...，θn-1n}。对于子网络
网络的损失函数为L(θa，wa)。wa为子网络的权重参数。
通过NAS可以自动完成网络结构的搜索，对于子网络
在评估策略Lval下最小，从而挑选出最优子网络。即
其中对于分类任务而言，Ltrain可设置为交叉损失函数，即CrossEntropy(aout),通过训练数据集对参数θa，wa进行梯度更新，对于不可导处利用Straight-Through-Estimator算法，Straight-Through-Estimator算法能够将网络反向传播中的不可导处进行梯度计算。
对子网络a进行评估时，评估函数Lval(a，wa)需要考虑满足结果和计算成本，
Lval(a，wa)＝CrossEntropy(aout)+Cost(a)，
其中CrossEntropy(aout)为输出的交叉损失，而Cost(a)为计算成本函数，FLOPS(a)和ACT(a)分别代表参数的计算量和激活值所占的内存空间。
具体的步骤如下：
S1、构建包含参数θ和w的有向无环图G＝(V，E)，准备好训练集Xtrain和验证集Xval；
S2、设置训练损失函数和验证损失函数；
S3、在N个epoch下通过梯度下降算法进行参数θ和w的迭代计算Ltrain，将得到的参数用于计算Lval从而用来更新子网络a直至收敛；
S4、对于最优子网络a进行重新训练，消除训练中的不稳定性，得出最优子网络。
与现有技术相比，本发明的有益效果如下：
本发明提出了一种在场景约束的智能网络搜索的模型剪枝方法，在不改变网络拓扑结构的基础上，搜索策略寻找最优子网络，并与模型剪枝技术手段相结合，通过减少神经网络的通道数，从而达到降低模型计算成本的目的。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种场景约束的智能网络搜索的模型剪枝方法，其特征在于，包括以下步骤：
S1、构建包含参数θ和w的有向无环图G＝(V，E)，准备好训练集Xtrain和验证集Xval；
S2、设置训练损失函数和验证损失函数；
S3、在N个epoch下通过梯度下降算法进行参数θ和w的迭代计算Ltrain，将得到的参数用于计算Lval从而用来更新子网络a直至收敛；
S4、对于最优子网络a进行重新训练，消除训练中的不稳定性，得出最优子网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011374591.0A CN112364992A (zh) | 2020-11-30 | 2020-11-30 | 一种场景约束的智能网络搜索的模型剪枝方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011374591.0A CN112364992A (zh) | 2020-11-30 | 2020-11-30 | 一种场景约束的智能网络搜索的模型剪枝方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112364992A true CN112364992A (zh) | 2021-02-12 |
Family
ID=74536560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011374591.0A Pending CN112364992A (zh) | 2020-11-30 | 2020-11-30 | 一种场景约束的智能网络搜索的模型剪枝方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112364992A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516163A (zh) * | 2021-04-26 | 2021-10-19 | 合肥市正茂科技有限公司 | 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质 |
-
2020
- 2020-11-30 CN CN202011374591.0A patent/CN112364992A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516163A (zh) * | 2021-04-26 | 2021-10-19 | 合肥市正茂科技有限公司 | 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质 |
| CN113516163B (zh) * | 2021-04-26 | 2024-03-12 | 合肥市正茂科技有限公司 | 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110782011A (zh) | 一种基于强化学习的网络化多智能体系统分布式优化控制方法 | |
| CN112583633B (zh) | 一种基于粗糙信息的有向多智能体网络的分布式优化方法 | |
| CN111176327A (zh) | 一种多智能体系统合围控制方法及系统 | |
| CN113900380B (zh) | 一种异构集群系统鲁棒输出编队跟踪控制方法及系统 | |
| CN113485344B (zh) | 一种多智能体输出编队跟踪控制方法及系统 | |
| CN113268083B (zh) | 基于动态事件触发的多无人机系统编队跟踪控制方法 | |
| CN114280930B (zh) | 一种随机高阶线性多智能体系统控制协议的设计方法及系统 | |
| CN115225561A (zh) | 一种基于图结构特征的路由优化方法与系统 | |
| Zhang et al. | Global iterative learning control based on fuzzy systems for nonlinear multi-agent systems with unknown dynamics | |
| CN111191785A (zh) | 一种基于拓展搜索空间的结构搜索方法 | |
| Fabiani et al. | Nash equilibrium seeking in potential games with double-integrator agents | |
| CN112364992A (zh) | 一种场景约束的智能网络搜索的模型剪枝方法 | |
| Ananduta et al. | Online partitioning method for decentralized control of linear switching large-scale systems | |
| Yang et al. | Predictor‐based bipartite time‐varying formation control of nonlinear multi‐agents systems via disturbance observer | |
| CN115034356B (zh) | 一种用于横向联邦学习的模型融合方法及系统 | |
| CN115903901A (zh) | 内部状态未知的无人集群系统输出同步优化控制方法 | |
| WO2022117127A2 (zh) | 一种基于深度代理模型的工程叉车多目标性能优化方法 | |
| CN113741192A (zh) | 基于可切换拓扑的时滞多智能体系统约束容错控制方法 | |
| CN114599043A (zh) | 一种基于深度强化学习的空天地一体化网络资源分配方法 | |
| Ao et al. | Distributed H 2/H infinity consensus control and iterative approach for multi-agent systems with directed graph | |
| CN105138768A (zh) | 一种基于社区分解的多智能体系统一致性实现方法 | |
| CN112801160A (zh) | 基于蜂窝图模型的无人机编队脆弱性分析方法及系统 | |
| Huang et al. | Bipartite multi-tracking in MASs with intermittent communication | |
| CN105722173A (zh) | 基于双向吸引机制的大规模WSNs拓扑控制方法 | |
| CN116684273B (zh) | 一种基于粒子群的机动通信网络结构自动规划方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210212 |