CN114169506A - 一种基于工业物联网平台的深度学习边缘计算系统框架 - Google Patents

Abstract

本发明公开一种基于工业物联网平台的深度学习边缘计算系统框架，包括以下步骤：S1、深度学习网络权重量化和模型网络结构与参数优化；S2、进一步细化卷积操作和加速训练操作；S3、构建分布式深度神经网络训练模型；S4、构建分布式深度神经网络推理模型；本发明开创性的提出包含模型网络结构与参数优化以及参数量化、分布式训练和分布式推理的边缘计算系统框架模块；高效实现边缘设备的数据采集和数据训练，实现在低带宽、弱算力的场景下，实现低时延的计算目标；进一步为工业物联网平台上层的工业生产和运营决策提供实时有效、准确高质的底层支撑服务。

Description

一种基于工业物联网平台的深度学习边缘计算系统框架

技术领域

本发明涉及一种基于工业物联网平台的深度学习边缘计算系统框架，属于深度学习和智能制造技术领域。

背景技术

随着人工智能、物联网技术的发展，推动传统行业公司向数字化方向转型，构建企业工业物联网（IOT）平台是关键措施。这一措施，有助于打通企业从设备自动化执行，到中间生产决策，以及上层的运营决策之间的壁垒，构建企业数字化闭环，为公司智能制造和智能工厂建设提供坚实的基石。

构建工业物联网平台的重要基础是底层边缘设备的高效运转和计算；因此，本发明针对工业物联网平台的底层边缘设备的运行场景进行建模分析，设计构建一种深度学习边缘计算系统框架，实现边缘设备的自主智能运转，并且提高边缘设备的计算效率，为公司企业提供更高的收益。

现有方法中，专利号201910525863.3，专利名称为《用于边缘计算环境中面向深度学习应用的任务卸载方法》中该发明公开一种用于边缘计算环境中面向深度学习应用的任务卸载方法，首先将深度神经网络划分为若干个模型分块，采集系统中的相关数据并分析相应的特征；将得到的特征数据作为输入参数，建立M/M/n排队模型，得到终端设备层和边缘服务器层的平均任务数的期望，及任务在终端设备上开始执行以及将任务直接卸载到边缘服务器上开始执行的任务完成时间期望；以上述两个期望的最小最大值为目标函数，构建最小化任务执行时间的优化模型；使用启发式算法求解优化模型，得到最优卸载方案。此种方法能够实现针对不同的深度学习应用提出多模式，细粒度的个性化任务卸载方案，最小化任务完成时间，提高终端设备的资源利用率，从而满足高精度、低延迟的应用需求。

专利号为201910080007.1，专利名称为《面向传感信息处理的GPU集群深度学习边缘计算系统》该发明涉及一种面向传感信息处理的GPU集群深度学习边缘计算系统，运用前端智能传感设备的弱小的计算能力对传感信息预特征提取，使得原始数据信息量大大压缩，再将剩余处理任务交给GPU集群进行大规模传感数据特征聚类集合处理，通过任务拆分处理可以动态地适应前端智能传感设备的计算能力，减轻前端传感设备和硬件版本一致性要求的成本压力；降低边缘计算网络的通信压力，使得构建边缘计算的网络成本大大降低；网路数据特征传输隐藏了用户隐私；网络中传输的数据和存储的数据核心特征，通过聚类操作，发挥了GPU的SPMD优势，提高了边缘计算的并行计算效率，同时GPU集群的大规模并行计算能力以及低成本高可靠性的优势得以有效发挥。

专利号为202020271731.0，专利名称为《边缘计算的处理系统》该实用新型实施案例提供一种边缘计算的处理系统，属于数据处理领域。该边缘计算的处理系统包括：至少一个感知装置以及边缘计算终端，其中，所述至少一个感知装置位于本地，用于感测数据；所述边缘计算终端位于本地，与所述至少一个述感知装置连接，用于对所感测的数据进行第一处理。该边缘计算的处理系统在产生数据的源头就地实时计算，提升边缘智能水平，从而缓解主站的压力。

这些现有技术存在以下缺点：

1.现有方法对于边缘设备上的模型没有实施定制化压缩操作。

2.现有方法对于边缘设备上没有匹配特定的边缘计算节点，导致增加边缘设备和服务器之间的通信损耗；目前很多方法中，边缘设备仅仅充当采集实时数据的功能，不具备任何的计算功能；但是，针对数据量较小的计算，完全可以在边缘设备端进行计算。

3.现有方法完全采用服务器端进行统一训练和推理的相关计算，完全忽略边缘设备的作用，这就导致过于中心化，中心服务器的安全可靠至关重要。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于工业物联网平台的深度学习边缘计算系统框架，开创性的提出包含模型网络结构与参数优化以及参数量化、分布式训练和分布式推理的边缘计算系统框架模块；高效实现边缘设备的数据采集和数据训练，实现在低带宽、弱算力的场景下，实现低时延的计算目标；进一步为工业物联网平台上层的工业生产和运营决策提供实时有效、准确高质的底层支撑服务。

为了实现上述目的，本发明采用的技术方案是：一种基于工业物联网平台的深度学习边缘计算系统框架，包括以下步骤：

S1、深度学习网络权重量化和模型网络结构与参数优化；

S2、进一步细化卷积操作和加速训练操作；

S3、构建分布式深度神经网络训练模型；

S4、构建分布式深度神经网络推理模型。

优选的，所述的步骤S1包括以下基本操作：

S11、量化模型权重参数，也就是减少参数精度来优化存储空间；

S12、对网络模型进行压缩，减少模型参数数量；

S13、延迟下采样操作，减少模型的准确度损失。

优选的,所述的步骤S11包括以下操作：

S111、替换浮点类型，而使用固定精度类型，并结合随机舍弃进行训练；

S112、使用分组权重舍弃，并结合固定整型位数进行量化，优化存储空间；

S113、计算和存储使用不同浮点类型，优化存储空间。

优选的，所述的步骤S2包括以下基本操作：

S21、借助深度可分离卷积思想，对模型中运算量较大的卷积操作进行因式分解，有效降低计算量；

S22、借助分组卷积和通道清洗思想，对特征图进行分组，针对不同分组分别进行卷积；

S23、基于网络模型的宽度和深度，以及采集到数据的分辨率，缩放卷积神经网络模型尺度。

优选的，所述的步骤S3包括以下基本操作：

S31、使用联邦学习（Federated Learning）模式，进行分布式学习；

S32、针对必须传输至中心服务器进行训练的数据首先进行脱敏操作。

优选的，所述的步骤S31包括以下操作：

S311、采集到的数据在本地终端节点进行训练；

S312、终端节点将训练后的模型传输至服务器；

S313、服务器采用某些策略（直接平均、加权平均）聚合所有终端节点模型。

优选的，所述的步骤S32包括以下操作：

S321、直接舍弃隐私敏感数据；

S322、终端和服务器端同步训练，服务器端隐私数据使用噪声编码。

优选的，所述的步骤S4包括以下操作：

S41、按照终端--服务器垂直方向，切割部署模型进行推理；

S42、按照多终端同层次水平方向，切割部署模型进行推理。

优选的，所述的步骤S41包括以下操作：

S411、基于模型架构的运行状态，决策哪部分模型运行；

S412、基于垂直方向资源退出先后，决策哪部分模型运行。

优选的，所述的步骤S42包括以下操作：

S421、使用预训练模型，标识网络模型的网络层类型，并分割数据输入；

S422、对终端设备进行编码，进行联合推理。

本发明的有益效果是：

开创性的提出包含模型网络结构与参数优化以及参数量化、分布式训练和分布式推理的边缘计算系统框架模块；高效实现边缘设备的数据采集和数据训练，实现在低带宽、弱算力的场景下，实现低时延的计算目标；进一步为工业物联网平台上层的工业生产和运营决策提供实时有效、准确高质的底层支撑服务。

附图说明

图1为本发明一种基于工业物联网平台的深度学习边缘计算系统框架流程图；

图2为本发明一种基于工业物联网平台的深度学习边缘计算系统框架模型网络结构与参数优化技术分析图；

图3为本发明一种基于工业物联网平台的深度学习边缘计算系统框架模型网络结构与参数优化技术分析图；

图4为本发明一种基于工业物联网平台的深度学习边缘计算系统框架联邦学习示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。

除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

如图1-4所示，一种基于工业物联网平台的深度学习边缘计算系统框架，包括以下步骤：

S1、深度学习网络权重量化和模型网络结构与参数优化；

S2、进一步细化卷积操作和加速训练操作；

S3、构建分布式深度神经网络训练模型；

S4、构建分布式深度神经网络推理模型。

本发明的前提是，采用量化和模型网络结构与参数优化的方法，首先对深度学习网络模型进行初步的优化操作，实现减少模型尺度、优化存储空间和降低模型精度损失的目标。

优选的，所述的步骤S1包括以下基本操作：

S11、量化模型权重参数，也就是减少参数精度来优化存储空间；

S12、对网络模型进行压缩，减少模型参数数量；

S13、延迟下采样操作，减少模型的准确度损失。

优选的,所述的步骤S11包括以下操作：

S111、替换浮点类型，而使用固定精度类型，并结合随机舍弃进行训练；

S112、使用分组权重舍弃，并结合固定整型位数进行量化，优化存储空间；

S113、计算和存储使用不同浮点类型，优化存储空间。

量化，也就是降低模型参数的精度，达到优化存储空间的目标；本发明针对不同类别的网络模型，可选用三种不同策略：

1.使用固定16位非整型精度进行运算和存储，并且结合随机舍弃的方法，进一步减少参数量；

2.首先对网络模型参数进行分组，然后使用8位精度来量化特定分组的参数；

3.在计算和存储时采用不同精度表示，存储采用8位精度，而计算则采用12位精度。

模型网络结构与参数优化，也就是减少模型参数，达到优化存储空间和加速计算的目标，如图2所示。

本发明针对不同类别的网络模型，可选用四种不同策略：

1.侧重于密集操作和累积乘操作的模型可采用剪枝的方法，剪去对模型精度没太大影响的参数；

2.针对累积乘操作，可以首先使用聚类的方法，对不同操作参数进行分类，然后针对不同类别的参数使用加权量化操作；

3.针对在巨型数据集上训练的繁杂模型，可以采用知识蒸馏的方法，从而迁移获得一个较小的模型；

4.低级因式分解，针对计算量巨大的深度学习隐藏中间层，使用因式分解的方式，对卷积操作进行分解。

在量化和模型网络结构与参数优化的基础上，将网络模型中非核心卷积操作（如：下采样），进行延迟操作，这样有限避免模型准确度的损失。

经过步骤1初步对网络模型进行优化，接下来进一步详细分析网络模型中不同卷积类型，并对具体的卷积操作进行优化。

优选的，所述的步骤S2包括以下基本操作：

S21、借助深度可分离卷积思想，对模型中运算量较大的卷积操作进行因式分解，有效降低计算量；

S22、借助分组卷积和通道清洗思想，对特征图进行分组，针对不同分组分别进行卷积；

S23、基于网络模型的宽度和深度，以及采集到数据的分辨率，缩放卷积神经网络模型尺度。

深度可分离卷积，本质是将原始计算量较大的卷积因式分解为两种操作：卷积过滤和聚合输出。如果一个卷积滤子的空间尺度为，同时输入数据有个通道，产生的输出有个通道。在此卷积上实施深度可分离操作，可以获得的计算消耗，同时相对于原始卷积操作减少的参数量的系数为。例如，如果且，采用深度可分离卷积，模型在同等计算量的程度下可以减少21倍的参数量。

分组卷积，本质是将特征图进行分组，此处可采用传统机器学习的聚类算法（如：支持向量机等），将分组后的特征进行分别卷积操作，如图3所示。这里，假设输入特征图的尺度为，卷积核数量为，且输出特征图的数量也是；并且，卷积核的尺度为，那么最终的参数量为。对比，采用分组卷积，输入特征图尺度和输出特征图的数量不变，假设将特征平均分类为组，则每组特征图的输入参数量为，而每组输出特征图数量为，每个卷积核尺度为，此时卷积核的总参数量为，可见参数量缩减为原来的。

经过上述步骤后，此时即可获得针对资源受限的边缘设备所定制化的网络模型，但是，对于数据计算，边缘设备和云端服务器之间的传输消耗过大，并且数据隐私也是重要问题，针对这些问题，本步骤采用分布式训练以及对数据进行脱敏操作，实现高效训练。

优选的，所述的步骤S3包括以下基本操作：

S31、使用联邦学习（Federated Learning）模式，进行分布式学习；

S32、针对必须传输至中心服务器进行训练的数据首先进行脱敏操作。

优选的，所述的步骤S31包括以下操作：

S311、采集到的数据在本地终端节点进行训练；

S312、终端节点将训练后的模型传输至服务器；

S313、服务器采用某些策略（直接平均、加权平均）聚合所有终端节点模型。

优选的，所述的步骤S32包括以下操作：

S321、直接舍弃隐私敏感数据；

S322、终端和服务器端同步训练，服务器端隐私数据使用噪声编码。

分布式训练采用联邦学习方法，即所有训练数据保存在边缘设备本地，而网络模型训练发生在性能较强的局部计算设备或云服务器。总之，联邦学习包含两步：

1.局部化训练；

2.聚合输出。

局部化训练----边缘设备从中心服务器下载模型，使用本地数据训练一个更新优化后的模型来提高模型性能。之后，采用编码方式，将不同边缘设备所优化后的模型差异传输至中心服务器进行聚合输出，而聚合又可以采用不同的策略（直接平均和加权平均），最终构建一个全局的网络模型，如图4所示。这个去中心化的训练方式，最大化使用边缘设备，并且在设备之间避免数据共享，进而保证了安全和隐私问题。

隐私脱敏方法，即在边缘设备上传数据至中心云服务器时，采用编码方式对数据进行加密。为了避免中心化聚合数据时带来潜在的敏感数据泄露，同样可以采用区块链技术实现去中心化操作，实现对数据的脱敏和隐私保护。

在上述一系列步骤的基础上，本发明所实现的深度学习边缘计算系统框架可以进一步实现分布式推理的功能；本发明的分布式推理框架基于终端--服务器垂直方向和多终端同层次水平方向，实现两种不同形式的分布式边缘推理模式，可以高效利用边缘设备资源实现快速推理计算。

优选的，所述的步骤S4包括以下操作：

S41、按照终端--服务器垂直方向，切割部署模型进行推理；

S42、按照多终端同层次水平方向，切割部署模型进行推理。

优选的，所述的步骤S41包括以下操作：

S411、基于模型架构的运行状态，决策哪部分模型运行；

S412、基于垂直方向资源退出先后，决策哪部分模型运行。

优选的，所述的步骤S42包括以下操作：

S421、使用预训练模型，标识网络模型的网络层类型，并分割数据输入；

S422、对终端设备进行编码，进行联合推理。

基于终端--服务器垂直方向，切割部署模型进行推理。可以进一步划分为两种方法：1.移动设备深度推理模式；2.最早退出推理模式。其中，移动设备深度推理模式，动态观测模型架构的运行状态，来做出决策决定接下来进行计算的边缘设备；而最早退出推理模式，则是根据全局边缘计算的资源的退出情况，决策接下来进行计算的边缘设备。

基于多终端同层次水平方向，切割部署模型进行推理。首先使用一个预训练模型，对模型中不同网络层进行标识；与此同时，对不同边缘计算终端进行编码，中心服务器分割数据，边缘设备下载对应部分的数据和全局模型，按照编码编号进行联合有序推理计算。

本发明的有益结果在于：开发了一种基于工业物联网平台的深度学习边缘计算系统框架，本发明开创性的提出包含模型网络结构与参数优化以及参数量化、分布式训练和分布式推理的边缘计算系统框架模块。这就高效实现边缘设备的数据采集和数据训练，实现在低带宽、弱算力的场景下，实现低时延的计算目标。进一步，为工业物联网平台上层的工业生产和运营决策提供实时有效、准确高质的底层支撑服务。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于工业物联网平台的深度学习边缘计算系统框架，其特征在于，包括以下步骤：

S1、深度学习网络权重量化和模型网络结构与参数优化；

S2、进一步细化卷积操作和加速训练操作；

S3、构建分布式深度神经网络训练模型；

S4、构建分布式深度神经网络推理模型。

2.根据权利要求1所述的一种基于工业物联网平台的深度学习边缘计算系统框架，其特征在于，所述的步骤S1包括以下基本操作：

S11、量化模型权重参数，也就是减少参数精度来优化存储空间；

S12、对网络模型进行压缩，减少模型参数数量；

S13、延迟下采样操作，减少模型的准确度损失。

3.根据权利要求2所述的一种 基于工业物联网平台的深度学习边缘计算系统框架，其特征在于,所述的步骤S11包括以下操作：

S111、替换浮点类型，而使用固定精度类型，并结合随机舍弃进行训练；

S112、使用分组权重舍弃，并结合固定整型位数进行量化，优化存储空间；

S113、计算和存储使用不同浮点类型，优化存储空间。

4.根据权利要求1所述的一种基于工业物联网平台的深度学习边缘计算系统框架，其特征在于，所述的步骤S2包括以下基本操作：

S21、借助深度可分离卷积思想，对模型中运算量较大的卷积操作进行因式分解，有效降低计算量；

S22、借助分组卷积和通道清洗思想，对特征图进行分组，针对不同分组分别进行卷积；

S23、基于网络模型的宽度和深度，以及采集到数据的分辨率，缩放卷积神经网络模型尺度。

5.根据权利要求1所述的一种基于工业物联网平台的深度学习边缘计算系统框架，其特征在于，所述的步骤S3包括以下基本操作：

S31、使用联邦学习（Federated Learning）模式，进行分布式学习；

S32、针对必须传输至中心服务器进行训练的数据首先进行脱敏操作。

6.根据权利要求5所述的一种基于工业物联网平台的深度学习边缘计算系统框架，其特征在于，所述的步骤S31包括以下操作：

S311、采集到的数据在本地终端节点进行训练；

S312、终端节点将训练后的模型传输至服务器；

S313、服务器采用某些策略（直接平均、加权平均）聚合所有终端节点模型。

7.根据权利要求5所述的一种基于工业物联网平台的深度学习边缘计算系统框架，其特征在于，所述的步骤S32包括以下操作：

S321、直接舍弃隐私敏感数据；

S322、终端和服务器端同步训练，服务器端隐私数据使用噪声编码。

8.根据权利要求1所述的一种基于工业物联网平台的深度学习边缘计算系统框架，其特征在于，所述的步骤S4包括以下操作：

S41、按照终端--服务器垂直方向，切割部署模型进行推理；

S42、按照多终端同层次水平方向，切割部署模型进行推理。

9.根据权利要求8所述的一种基于工业物联网平台的深度学习边缘计算系统框架，其特征在于，所述的步骤S41包括以下操作：

S411、基于模型架构的运行状态，决策哪部分模型运行；

S412、基于垂直方向资源退出先后，决策哪部分模型运行。

10.根据权利要求8所述的一种基于工业物联网平台的深度学习边缘计算系统框架，其特征在于，所述的步骤S42包括以下操作：

S421、使用预训练模型，标识网络模型的网络层类型，并分割数据输入；

S422、对终端设备进行编码，进行联合推理。

Images