CN112085195A - 一种基于x-admm的深度学习模型环境自适应方法 - Google Patents

一种基于x-admm的深度学习模型环境自适应方法 Download PDF

Info

Publication number
CN112085195A
CN112085195A CN202010920846.2A CN202010920846A CN112085195A CN 112085195 A CN112085195 A CN 112085195A CN 202010920846 A CN202010920846 A CN 202010920846A CN 112085195 A CN112085195 A CN 112085195A
Authority
CN
China
Prior art keywords
model
deep learning
learning model
admm
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010920846.2A
Other languages
English (en)
Other versions
CN112085195B (zh
Inventor
郭斌
仵允港
王虹力
刘思聪
刘佳琪
於志文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010920846.2A priority Critical patent/CN112085195B/zh
Publication of CN112085195A publication Critical patent/CN112085195A/zh
Application granted granted Critical
Publication of CN112085195B publication Critical patent/CN112085195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于X‑ADMM的深度学习模型环境自适应方法，聚焦深度学习模型硬件资源消耗巨大，且不能根据动态环境变化实现自适应演化问题。为了解决深度学习模型根据环境动态演化的问题，我们提出了X‑ADMM(X Alternating Direction Method of Multipliers)模型。我们将感知深度学习模型的硬件资源变化，综合使用模型压缩和模型分割的方法处理深度学习模型结构。通过这种方法，模型完成对动态环境的自适应。通过实时感知上下文的环境变化，为模型结构改变提供约束。这能够大幅度降低深度学习模型的资源消耗并实现模型结构的动态自适应。

Description

一种基于X-ADMM的深度学习模型环境自适应方法
技术领域
本发明为一种基于X-ADMM的深度学习模型环境自适应方法，涉及深度学习模型运行环境感知和模型结构优化领域，尤其深度学习模型环境自适应的方法。
背景技术
随着物联网和人工智能技术的快速发展与加速融合，智能物联网(AIin loT,AIoT)正成长为一个具有广泛发展前景的新兴前沿领域。近年来，基于深度计算模型的物联网智能应用和服务已经逐步融入国家重大需求和民生的各个领域，例如智慧城市、智能制造、无人驾驶、健康卫生等。面向这些智能物联场景，将深度学习模型(如实时视频数据处理)离线部署在资源受限且环境多变的物联网终端设备本地逐渐成为一种趋势，具有低计算延时、低传输成本、保护数据隐私等优势。然而，在资源受限的移动端运行深度学习模型仍面临着“硬件资源限制”和“应用环境复杂”两项关键挑战，制约了其落地和大规模的运用。
为了解决上述挑战，部分研究者已经以不同的方式作出模型自适应压缩和加速的初步尝试。例如AdaDeep提出了压缩技术组合的方法来解决对深度学习模型的资源消耗自适应的问题；哈佛大学的Teerapittayanon等人通过选择网络的不同”提前退出”分支实现深度模型的运行时加速研究；浙江大学提出的Deepthing方法将深度学习模型分割为多个分块然后分配给不同的移动边缘终端，在整体资源消耗和终端运行性能上实现自适应的最优折中。然而上述工作对于如何使模型根据动态环境变化实现自适应演化还没有提出切实有效的解决办法。
发明内容
针对深度学习模型硬件资源消耗巨大，且不能根据动态环境变化实现自适应演化问题。，本发明提出一种基于X-ADMM的深度学习模型环境自适应方法。其技术方案为：一种基于X-ADMM的深度学习模型环境自适应方法，首先对任务硬件环境进行建模；其次对深度神经网络的各项指标进行建模；基于ADMM模型压缩技术简化模型结构，最终以层为粒度动态进行模型分割。
进一步地，一种基于X-ADMM的深度学习模型环境自适应方法，所述对深度神经网络的各项指标进行建模包括以下步骤：首先对深度学习模型进行压缩：使用结构化剪枝技术缩小深度学习模型的结构；其次对深度学习模型进行分割：在感知到的硬件约束条件下，将压缩后的模型以层粒度进行分割；最后综合使用模型压缩和模型分割技术，实现深度学习模型对硬件资源的自适应。
进一步地，一种基于X-ADMM的深度学习模型环境自适应方法，所述深度神经网络的各项指标包括：深度神经网络的精度、存储需求、能源消耗。
进一步地，一种基于X-ADMM的深度学习模型环境自适应方法，所述方法包括以下具体步骤：
步骤1：获取任务的相关硬件资源信息以及上下文信息；将存储、能源、算力状态分别表示成Si，Ei，Ci；
步骤2：对深度神经网络的精度、存储需求、能源消耗指标进行建模；
Figure BDA0002666681170000031
S＝Sf+Sp＝|χ|Ba+|ω|Bw
E＝Ec+Em＝ε1C+ε2Sp+ε3Sf
其中，A是模型的推断精度，
Figure BDA0002666681170000032
和di分别表示分类器决策和真实标签，Dmb代表小批次中的样本；S是模型的存储需求，Sf和Sp表示激活和权值的存储需求，χ和ω是网络中所有激活值和权值，Ba和Bw分别表示激活和权值的精度；E是模型的能源需求，ε1和C分别表示每个MAC的操作能耗和MAC的总数，ε2和ε3分别表示访问Cache和DRAM内存时每比特的能源成本；
步骤3：利用基于ADMM的结构化剪枝方法，简化深度学习模型结构：
Figure BDA0002666681170000033
其中，θi为每一层的权重参数，zi是启用基于ADMM的解决方案的辅助变量，ui是与约束相关联的拉格朗日乘数，gi是权重稀疏约束的指标函数，ρ＞0是给定的扩充参数；
步骤4：将步骤3的方程分解为两个子问题迭代求解：
Figure BDA0002666681170000034
Figure BDA0002666681170000035
其中，k是迭代索引，拉格朗日乘子更新为
Figure BDA0002666681170000036
步骤5：模型被ADMM压缩之后，根据硬件资源的环境变化，以层为粒度动态选择最佳模型分割点。
进一步地，一种基于X-ADMM的深度学习模型环境自适应方法，所述上下文信息包括时间、光线。
进一步地，一种基于X-ADMM的深度学习模型环境自适应方法，所述层包括环境感知层、应用层。
本发明的有益效果为：本发明聚焦深度学习模型硬件资源消耗巨大，且不能根据动态环境变化实现自适应演化问题。为了解决深度学习模型根据环境动态演化的问题，我们提出了X-ADMM(X Alternating Direction Method of Multipliers)模型。我们将感知深度学习模型的硬件资源变化，综合使用模型压缩和模型分割的方法处理深度学习模型结构。通过这种方法，模型完成对动态环境的自适应。通过实时感知上下文的环境变化，为模型结构改变提供约束。这能够大幅度降低深度学习模型的资源消耗并实现模型结构的动态自适应。
附图说明
图1为本发明实例中基于X-ADMM的深度学习模型环境自适应方法框架图；
图2为本发明X-ADMM的模型。
具体实施方式
下面结合附图来进一步描述本发明的技术方案：
本发明共有2幅附图，请参阅图1所示，本发明的具体步骤如下：
一种基于X-ADMM的深度学习模型环境自适应方法，首先对任务硬件环境进行建模；其次对深度神经网络的各项指标进行建模；基于ADMM模型压缩技术简化模型结构，最终以层为粒度动态进行模型分割。
其中所述对深度神经网络的各项指标进行建模包括以下步骤：首先对深度学习模型进行压缩：使用结构化剪枝技术缩小深度学习模型的结构；其次对深度学习模型进行分割：在感知到的硬件约束条件下，将压缩后的模型以层粒度进行分割；最后综合使用模型压缩和模型分割技术，实现深度学习模型对硬件资源的自适应。
本发明中，所述深度神经网络的各项指标包括：深度神经网络的精度、存储需求、能源消耗；所述上下文信息包括时间、光线；所述层包括环境感知层、应用层。
实施例：
一种基于X-ADMM的深度学习模型环境自适应方法，所述方法包括以下具体步骤：
步骤1：获取任务的相关硬件资源信息以及上下文信息；将存储、能源、算力状态分别表示成Si，Ei，Ci；
步骤2：对深度神经网络的精度、存储需求、能源消耗指标进行建模；
Figure BDA0002666681170000051
S＝Sf+Sp＝|χ|Ba+|ω|Bw
E＝Ec+Em＝ε1C+ε2Sp+ε3Sf
其中，A是模型的推断精度，
Figure BDA0002666681170000052
和di分别表示分类器决策和真实标签，Dmb代表小批次中的样本；S是模型的存储需求，Sf和Sp表示激活和权值的存储需求，χ和ω是网络中所有激活值和权值，Ba和Bw分别表示激活和权值的精度；E是模型的能源需求，ε1和C分别表示每个MAC的操作能耗和MAC的总数，ε2和ε3分别表示访问Cache和DRAM内存时每比特的能源成本；
步骤3：利用基于ADMM的结构化剪枝方法，简化深度学习模型结构：
Figure BDA0002666681170000061
其中，θi为每一层的权重参数，zi是启用基于ADMM的解决方案的辅助变量，ui是与约束相关联的拉格朗日乘数，gi是权重稀疏约束的指标函数，ρ＞0是给定的扩充参数；
步骤4：将步骤3的方程分解为两个子问题迭代求解：
Figure BDA0002666681170000062
Figure BDA0002666681170000063
其中，k是迭代索引，拉格朗日乘子更新为
Figure BDA0002666681170000064
步骤5：模型被ADMM压缩之后，根据硬件资源的环境变化，以层为粒度动态选择最佳模型分割点。

Claims (6)

1.一种基于X-ADMM的深度学习模型环境自适应方法，其特征在于：首先对任务硬件环境进行建模；其次对深度神经网络的各项指标进行建模；基于ADMM模型压缩技术简化模型结构，最终以层为粒度动态进行模型分割。
2.根据权利要求1所述的一种基于X-ADMM的深度学习模型环境自适应方法，其特征在于：所述对深度神经网络的各项指标进行建模包括以下步骤：
首先对深度学习模型进行压缩：使用结构化剪枝技术缩小深度学习模型的结构；
其次对深度学习模型进行分割：在感知到的硬件约束条件下，将压缩后的模型以层粒度进行分割；
最后综合使用模型压缩和模型分割技术，实现深度学习模型对硬件资源的自适应。
3.根据权利要求1任一所述的一种基于X-ADMM的深度学习模型环境自适应方法，其特征在于：所述深度神经网络的各项指标包括：深度神经网络的精度、存储需求、能源消耗。
4.根据权利要求1-2任一所述的一种基于X-ADMM的深度学习模型环境自适应方法，其特征在于：所述方法包括以下具体步骤：
步骤1：获取任务的相关硬件资源信息以及上下文信息；将存储、能源、算力状态分别表示成Si，Ei，Ci；
步骤2：对深度神经网络的精度、存储需求、能源消耗指标进行建模；
Figure FDA0002666681160000011
S＝Sf+Sp＝|χ|Ba+|ω|Bw
E＝Ec+Em＝ε1C+ε2Sp+ε3Sf
其中，A是模型的推断精度，
Figure FDA0002666681160000021
和di分别表示分类器决策和真实标签，Dmb代表小批次中的样本；S是模型的存储需求，Sf和Sp表示激活和权值的存储需求，χ和ω是网络中所有激活值和权值，Ba和Bw分别表示激活和权值的精度；E是模型的能源需求，ε1和C分别表示每个MAC的操作能耗和MAC的总数，ε2和ε3分别表示访问Cache和DRAM内存时每比特的能源成本；
步骤3：利用基于ADMM的结构化剪枝方法，简化深度学习模型结构：
Figure FDA0002666681160000022
其中，θi为每一层的权重参数，zi是启用基于ADMM的解决方案的辅助变量，ui是与约束相关联的拉格朗日乘数，gi是权重稀疏约束的指标函数，ρ＞0是给定的扩充参数；
步骤4：将步骤3的方程分解为两个子问题迭代求解：
Figure FDA0002666681160000023
Figure FDA0002666681160000024
其中，k是迭代索引，拉格朗日乘子更新为
Figure FDA0002666681160000025
步骤5：模型被ADMM压缩之后，根据硬件资源的环境变化，以层为粒度动态选择最佳模型分割点。
5.根据权利要求4所述的一种基于X-ADMM的深度学习模型环境自适应方法，其特征在于：所述上下文信息包括时间、光线。
6.根据权利要求4所述的一种基于X-ADMM的深度学习模型环境自适应方法，其特征在于：所述层包括环境感知层、应用层。
CN202010920846.2A 2020-09-04 2020-09-04 一种基于x-admm的深度学习模型环境自适应方法 Active CN112085195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010920846.2A CN112085195B (zh) 2020-09-04 2020-09-04 一种基于x-admm的深度学习模型环境自适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010920846.2A CN112085195B (zh) 2020-09-04 2020-09-04 一种基于x-admm的深度学习模型环境自适应方法

Publications (2)

Publication Number Publication Date
CN112085195A true CN112085195A (zh) 2020-12-15
CN112085195B CN112085195B (zh) 2022-09-23

Family

ID=73731942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010920846.2A Active CN112085195B (zh) 2020-09-04 2020-09-04 一种基于x-admm的深度学习模型环境自适应方法

Country Status (1)

Country Link
CN (1) CN112085195B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180046895A1 (en) * 2016-08-12 2018-02-15 DeePhi Technology Co., Ltd. Device and method for implementing a sparse neural network
CN108629408A (zh) * 2018-04-28 2018-10-09 济南浪潮高新科技投资发展有限公司 一种基于fpga的深度学习动态模型剪裁推理系统及方法
CN109472361A (zh) * 2018-11-13 2019-03-15 钟祥博谦信息科技有限公司 神经网络优化方法
CN109784474A (zh) * 2018-12-24 2019-05-21 宜通世纪物联网研究院(广州)有限公司 一种深度学习模型压缩方法、装置、存储介质及终端设备
US20190164050A1 (en) * 2017-11-30 2019-05-30 International Business Machines Corporation Compression of fully connected / recurrent layers of deep network(s) through enforcing spatial locality to weight matrices and effecting frequency compression
CN110070181A (zh) * 2019-04-30 2019-07-30 深圳朴生智能科技有限公司 一种用于边缘计算设备的深度学习的优化方法
CN110210618A (zh) * 2019-05-22 2019-09-06 东南大学 动态修剪深度神经网络权重和权重共享的压缩方法
CN110222820A (zh) * 2019-05-28 2019-09-10 东南大学 基于权值剪枝和量化的卷积神经网络压缩方法
CN110245741A (zh) * 2018-03-09 2019-09-17 佳能株式会社 多层神经网络模型的优化和应用方法、装置及存储介质
CN110276450A (zh) * 2019-06-25 2019-09-24 交叉信息核心技术研究院(西安)有限公司 基于多粒度的深度神经网络结构化稀疏系统和方法
CN110309914A (zh) * 2019-07-03 2019-10-08 中山大学 基于边缘服务器与移动端设备协同的深度学习模型推理加速方法
CN110659725A (zh) * 2019-09-20 2020-01-07 字节跳动有限公司 神经网络模型的压缩与加速方法、数据处理方法及装置
CN111242282A (zh) * 2020-01-09 2020-06-05 中山大学 基于端边云协同的深度学习模型训练加速方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180046895A1 (en) * 2016-08-12 2018-02-15 DeePhi Technology Co., Ltd. Device and method for implementing a sparse neural network
US20190164050A1 (en) * 2017-11-30 2019-05-30 International Business Machines Corporation Compression of fully connected / recurrent layers of deep network(s) through enforcing spatial locality to weight matrices and effecting frequency compression
CN110245741A (zh) * 2018-03-09 2019-09-17 佳能株式会社 多层神经网络模型的优化和应用方法、装置及存储介质
CN108629408A (zh) * 2018-04-28 2018-10-09 济南浪潮高新科技投资发展有限公司 一种基于fpga的深度学习动态模型剪裁推理系统及方法
CN109472361A (zh) * 2018-11-13 2019-03-15 钟祥博谦信息科技有限公司 神经网络优化方法
CN109784474A (zh) * 2018-12-24 2019-05-21 宜通世纪物联网研究院(广州)有限公司 一种深度学习模型压缩方法、装置、存储介质及终端设备
CN110070181A (zh) * 2019-04-30 2019-07-30 深圳朴生智能科技有限公司 一种用于边缘计算设备的深度学习的优化方法
CN110210618A (zh) * 2019-05-22 2019-09-06 东南大学 动态修剪深度神经网络权重和权重共享的压缩方法
CN110222820A (zh) * 2019-05-28 2019-09-10 东南大学 基于权值剪枝和量化的卷积神经网络压缩方法
CN110276450A (zh) * 2019-06-25 2019-09-24 交叉信息核心技术研究院(西安)有限公司 基于多粒度的深度神经网络结构化稀疏系统和方法
CN110309914A (zh) * 2019-07-03 2019-10-08 中山大学 基于边缘服务器与移动端设备协同的深度学习模型推理加速方法
CN110659725A (zh) * 2019-09-20 2020-01-07 字节跳动有限公司 神经网络模型的压缩与加速方法、数据处理方法及装置
CN111242282A (zh) * 2020-01-09 2020-06-05 中山大学 基于端边云协同的深度学习模型训练加速方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BINGQIAN LU等: "Automating Deep Neural Network Model Selection for Edge Inference", 《2019 IEEE FIRST INTERNATIONAL CONFERENCE ON COGNITIVE MACHINE INTELLIGENCE (COGMI)》 *
NING LIU等: "AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates", 《ARXIV:1907.03141V2[CS.LG]》 *
周知等: "边缘智能:边缘计算与人工智能融合的新范式", 《大数据》 *
纪荣嵘等: "深度神经网络压缩与加速综述", 《计算机研究与发展》 *

Also Published As

Publication number Publication date
CN112085195B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
Guo et al. Toward intelligent task offloading at the edge
CN112565331B (zh) 一种基于边缘计算的端-边协同联邦学习优化方法
Zhu et al. Foundation study on wireless big data: Concept, mining, learning and practices
CN112598150B (zh) 一种在智能电厂中基于联邦学习提升火灾检测效果的方法
CN111541567A (zh) 一种人工智能云计算大数据管理系统及方法
Ren et al. A novel deep learning method for application identification in wireless network
CN112115830A (zh) 一种基于比特域特征提取的目标分布式融合识别方法
Chien et al. A lightweight model with spatial–temporal correlation for cellular traffic prediction in Internet of Things
CN112085195B (zh) 一种基于x-admm的深度学习模型环境自适应方法
CN114169506A (zh) 一种基于工业物联网平台的深度学习边缘计算系统框架
CN114745386B (zh) 一种多用户边缘智能场景下的神经网络分割及卸载方法
Yang et al. Cognitive spectrum sensing algorithm based on an RBF neural network and machine learning
Chen et al. Tasks-oriented joint resource allocation scheme for the Internet of vehicles with sensing, communication and computing integration
CN114781598A (zh) 一种基于分层神经网络分布式训练的故障预测方法
CN113626511A (zh) 一种异构数据库融合接入系统
Xu et al. Ddpg-based edge resource management for coal mine surveillance video analysis in cloud-edge cooperation framework
Xie et al. Mobile big data analysis with machine learning
CN111667028A (zh) 一种可靠负样本确定方法和相关装置
CN111914918A (zh) 基于融合标签和文档的网络主题模型的Web服务聚类方法
CN112085758B (zh) 一种边端融合的终端情境自适应模型分割方法
Singh et al. A comprehensive study of edge computing and the impact of distributed computing on industrial automation
CN111914923B (zh) 一种基于聚类特征提取的目标分布式识别方法
Dong et al. Optimization of Wireless Power Transfer for Wireless-Powered Mobile Edge Computing
CN117688425A (zh) 面向Non-IID图数据的多任务图分类模型构建方法及系统
CN116708294B (zh) 基于apn6网络实现智能应用感知及报文转发的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant