CN111479286B - 一种边缘计算系统减少通信流量的数据处理方法 - Google Patents

Abstract

本发明公开了一种边缘计算系统减少通信流量的数据处理方法，包括以下步骤：(1)获取边缘计算系统的终端设备需要传输给边缘节点的特征图；(2)终端设备对特征图进行矩阵变换，减少数据表示所需的字节数；(3)终端设备进一步对变换后的矩阵进行字节流压缩，并发送给边缘节点；(4)在边缘节点接收字节流，并进行解压缩以获得近似的特征图。本发明对在终端设备上运行的深度学习模型的精度造成可忽略的影响的前提下，大大降低了边缘计算系统终端设备需传输的数据量，显著缩短了传输延时，且压缩本身所需的计算量少、可操作性好。

Description

一种边缘计算系统减少通信流量的数据处理方法

技术领域

本发明涉及边缘计算领域，具体涉及一种边缘计算系统减少通信流量的数据处理方法。

背景技术

近些年来，随着海量设备接入互联网，传统的云计算、物联网等计算模式已难以满足指数级增长的数据对算力的需求。由此，边缘计算模式随之迅速崛起，成为学术界和工业界的热门研究方向。和边缘计算相辅相成的还有深度学习技术，随着深度学习技术的不断成熟，从智能推荐、语音识别到人脸检测、视频分析等，越来越多的人工智能相关应用喷涌而出，为人们的生活带来了翻天覆地的变化。而边缘端的海量设备产生的海量数据正好可以为深度学习应用注入新的活力，二者迅速结合诞生了一个新的方向叫边缘智能，旨在利用深度学习技术来处理边缘端的海量数据，从而挖掘出更多应用场景。目前，边缘智能在诸如智慧城市、智慧电网、智慧医疗、智能家居、工业互联网等典型应用中发挥着重要的作用。

为了从海量数据挖掘出有用的信息，通常需要在终端设备上运行深度学习模型(AI模型)，但是由于AI模型对计算、存储和能耗的要求都比较高，终端设备通常无法满足其要求。在AI模型的部署阶段，即模型推理阶段，为了在算力和能耗均受限的终端设备上实现低延时和高能效的模型推理，目前一种主流的解决方法是模型分割，目的是通过将深度学习模型中计算密集的部分下移到边缘节点，边缘节点负责完成后续的计算，以最终获取更好的深度学习模型推理性能。

模型分割的具体做法是：首先选择模型的某一中间层为分割层；然后将模型的前半部分，即从输入层到分割层，放在终端设备上处理；而从分割层到输出层的后半部分便下移到边缘节点或者邻近的移动设备上进行处理。终端设备只需要将分割层的输出通过网络传输给边缘节点，然后边缘节点接收到分割层的输出之后，就能够继续后半部分模型的计算，最终得到模型的输出。显然，利用模型分割方法，终端设备只需要运行计算量偏小的一部分模型，大大降低了终端设备的能耗，同时也显著地减少了在终端设备上运行模型的时间。除了在终端设备上运行前半部分模型的时间，整个模型推理阶段的时延还包括分割层输出的传输时间与边缘节点运行后半部分模型的时间。由于边缘节点的计算能力相对终端设备要强得多，在边缘节点上运行后半部分模型的时间会相对少很多。因此，分割层输出的传输时延是整个模型推理阶段时延的关键组成部分。

为了降低分割层输出的传输时延，则需要对其进行压缩。传统的压缩方法一般是采用量化技术，而量化技术需要对深度学习模型进行重新训练，大大增加了用户的使用难度，因此本发明提出一种新的数据处理方法，使得用户无需修改深度学习模型，同时大大降低对模型精度的影响。

发明内容

本发明的目的是针对现有技术中存在的不足，提出一种新的分割层输出数据处理方法，最大程度地减少传输的数据量，从而达到降低时延的目的。

本发明提供了以下技术方案：

一种边缘计算系统减少通信流量的数据处理方法，其特征在于：包括以下步骤：

(1)获取边缘计算系统的终端设备需要传输给边缘节点的特征图；

(2)对所述特征图进行矩阵变换，所述矩阵变换减少了所述特征图的字节数；

(3)对变换后的矩阵进行字节流压缩，并发送给边缘节点；

(4)在边缘节点接收字节流，并进行解压缩以获得近似的特征图。

其中，在上述步骤(2)中，所述矩阵变换是根据特征图的矩阵中的值m_ij，将矩阵中的十进制值转化为相应的二进制值，将特征图的矩阵变换为矩阵D(k)：

其中Q为大于0的整数，矩阵D(k)中的值分为四种不同情况：

1)当m_ij＝0时，用一个比特表示0；

2)当0＜|m_ij|≤1时，用一个比特表示符号位，Q个比特表示小数部分的值，s代表符号位；

3)当1＜|m_ij|＜9时，用一个比特表示符号位，三个比特表示整数部分的值，Q个比特表示小数部分的值，s代表符号位；

4)当|m_ij|≥9时，用32位的二进制值表示m_ij。

在上述步骤(1)中，所述特征图是深度神经网络模型某一中间层的输出。

在上述步骤(2)中，矩阵D(k)中表示小数部分的值为X/(0.5^Q)，其中X是特征图的矩阵中的小数。

在上述步骤(2)中，当1＜|m_ij|＜9时，整数部分的三个比特定义为：000表示1，001表示2，依次类推，111表示8。

可选地，当s＝0时，表示符号位为+，当s＝1时，表示符号位为-。

可选地，当s＝1时，表示符号位为+，当s＝0时，表示符号位为-。

可选地，所述矩阵变换还包括：

用两个比特来编码上述的四种情况，得到矩阵S(k)：

在上述步骤(3)中，所述字节流压缩采用的方法为gzip压缩。

在上述步骤(4)中，所述解压缩包括两个步骤，首先用gzip的解压缩方法对字节流进行解压，然后对解压后的字节流进行矩阵变换逆运算，获取最终的特征图。

所述矩阵变换逆运算包括：通过查看矩阵S(k)每个元素的编码，获取矩阵D(k)对应位置元素的分类，从而还原出m_ij的值，最终得到近似的特征图。

本发明还涉及一种用于边缘计算系统减少通信流量的数据处理系统，其执行上述数据处理方法，其特征在于：所述数据处理系统包括：

特征图获取装置，用于获取边缘计算系统的终端设备需要传输给边缘节点的特征图；

矩阵变换装置，用于对所述特征图进行矩阵变换，所述矩阵变换减少了所述特征图的字节数；

压缩装置，用于对变换后的矩阵进行字节流压缩，并发送给边缘节点；

解压缩装置，用于在边缘节点接收字节流，并进行解压缩以获得近似的特征图。

经过上述步骤，本发明实现了终端设备向边缘节点传输的特征图的高效压缩，压缩率可达13.9％，在对运行的深度学习模型的精度产生可以忽略的影响的前提下，极大地降低了传输延时，在算力和能耗均受限的终端设备上实现了更低延时的模型推理。

附图说明

图1是本发明的数据处理方法的步骤流程图。

图2是边缘计算系统DNN模型推理阶段延时组成示意图。

具体实施方式

在实际应用过程中，AI模型一般为深度神经网络模型，模型分割方法选择的切割层一般位于卷积层，卷积层的输出需要由终端设备传输给边缘节点。卷积层的输出又叫做特征图，是一个h*w*c的矩阵，其中w和h是和上一层的输入大小相关的参数，c代表卷积核的个数。因此本发明提出的压缩方法实质上是针对卷积层输出的矩阵，利用设计的编码方法，再结合现有的基于字节流的无损压缩方法，尽可能地压缩表示矩阵所需的字节数，从而减少终端设备和边缘节点之间通信带来的时延，使得能在终端设备上实现更低延时的模型推理。

卷积层的输出是一个h*w*c的矩阵，可以看作是c个h*w的二维矩阵。下面以压缩一个h*w大小的二维矩阵为例，展示本发明减少边缘系统中终端设备和边缘节点之间的通信流量的具体步骤。

如图1所示，本发明的数据处理方法主要包括以下步骤：

(一)获取边缘计算系统的终端设备需要传输给边缘节点的特征图，即获取卷积层输出的特征图。

在输入层到分割层之间运行AI模型，得到卷积层输出的h*w*c的矩阵：

M＝[M(1)，M(2)，…，M(k)，...，M(c)]^T，k∈[1，c]

其中M(k)是一个h*w的矩阵：

其中m_ij(i∈[1，h]，j∈[1，w])是FP-32格式的浮点数。

据经验，m_ij的绝对值大多集中在较小的范围内(如|m_ij|≤127)，实际上可以用更少的位数来表示。

(二)对特征图进行矩阵变换，减少表示矩阵所需的字节数。

所述矩阵变换是将矩阵中的值由十进制转换为二进制。

根据m_ij值的不同，将其分为四类：

1)当m_ij＝0时，用一个比特表示0；

2)当0＜|m_ij|≤1时，用一个比特表示符号位，Q个比特表示小数部分的值，其中Q由使用者决定；

3)当1＜|m_ij|＜9时，用一个比特表示符号位，三个比特表示整数部分，此时整数部分的值为1到8，还有Q个比特表示小数部分的值，其中Q为大于0的整数，由使用者决定；

4)当|m_ij|≥9时，用32位的二进制值表示m_ij。

根据上述的四种情况，可以将M(k)转化为矩阵D(k)和S(k)：

其中S(k)用两个比特来编码上述的四种情况，D(k)用不同数目的比特来编码对应的值。

符号位由s的值决定，例如当s＝0时，表示符号位为+，当s＝1时，表示符号位为-。或者相反地，当s＝1时，表示符号位为+，当s＝0时，表示符号位为-。

D(k)表达式中的s代表符号位，Q代表小数部分的比特数，具体的值为X/(0.5^Q)，其中X是Q个比特所表示的小数，精度为

显然，当Q越大，特征图值的精度越高，但是需要传输的数据量越多，使用者可以根据二者之间的平衡来决定Q的值。

Q的取值会影响特征图的精度，可能会导致深度学习模型的精度有些许下降。因此，Q的取值范围和深度学习模型实际的精度损失情况相关。原则上来说，Q越大，精度损失越小。当Q＝8的时候，实际的深度学习模型的精度只损失0.1％。因此，一般来说Q＝8就能取得很好的效果。

实验显示，当Q＝16时，D(k)和S(k)占的字节总和为M(k)的40％，即压缩率为40％，具体的压缩效果和特征图值的分布有关。

(三)对变换后的矩阵进行字节流压缩，并发送给边缘节点。

经过上一步对矩阵的变换之后，已经大大降低了表示矩阵所需的字节数，接下来利用gzip无损压缩方法，最大程度地减少需要传输的数据量。首先需要将数据源的矩阵表示转化为字节流的表示方式。而gzip压缩方法在各种流行的编程语言中都有成熟的接口供直接调用，可以通过调用gzip压缩接口，对字节流进行压缩。这样不会对数据源表示的信息造成任何损失，并且对矩阵转化而来的字节流有很好的压缩效果。对等待传输的特征图进行上述两个步骤的处理之后，便将压缩后的字节流传输给边缘节点。

实验显示，gzip方法压缩待传输的字节流的压缩率高达34.7％。上述两个步骤结合的压缩率为13.9％。

(四)在边缘节点接收字节流，并进行解压缩以获得近似的特征图。

边缘节点接收到字节流之后，首先利用gzip的解压接口对字节流进行解压。然后将字节流转化为矩阵形式，得到矩阵D(k)和S(k)。通过查看S(k)每个元素的编码，就能知道D(k)对应位置元素的分类，从而还原出m_ij的值，最终得到M(k)。

实施例1

为了帮助理解，下面提供实施例1用于说明简化的特征图的矩阵变换、压缩和解压缩的用例。

假设待传输的特征图为一个3×3的二维矩阵M：

预设参数：

Q＝8。

当s＝0时，表示符号位为+，当s＝1时，表示符号位为-。

当1＜|m_ij|＜9时，整数部分的三个比特定义为：000表示1，001表示2，依次类推，111表示8。

经过矩阵变换后得到的D和S为：

这样矩阵变换的压缩率为

下面举例说明如何将十进制的1.123转化为二进制值：

由于1＜1.123＜9，属于D矩阵转化中的第三种情况。首先判断符号位的值，由于符号位为正，则s＝0。再判断整数部分的三个比特的值，整数部分的值为1，则用三个比特000表示。最后判断小数部分的Q个比特的值，由于Q＝8，小数部分用8个比特表示，0.123/(0.5^8)＝31.488≈31，将31转化为8位的二进制数，得到00011111。因此，1.123转化为二进制值为0 000 00011111。

M矩阵的第二行第一列的10.962被转换成32位二进制值，但是为了在本说明书中方便显示，在D矩阵中还是用十进制的10.962表示，没有写成32位二进制的格式。

利用D和S解压得到的特征图为M′：

本发明的数据处理方法不需要对深度学习模型进行重新训练，减小了用户的使用难度，使得用户无需修改深度学习模型，同时大大降低对模型精度的影响。

图2展示了DNN模型(深度神经网络模型)的推断从输入到结果的过程，输入包括例如输入导体质量、绝缘体质量、填充料质量、屏蔽层质量等，结果包括合格和不合格。T1阶段表示终端设备运行DNN模型分割并压缩特征图的前半段，T2阶段表示通过WiFi传输特征图到边缘节点，T3阶段表示边缘节点解压特征图并运行DNN模型分割的后半段过程。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种边缘计算系统减少通信流量的数据处理方法，其特征在于：包括以下步骤：

(1)获取边缘计算系统的终端设备需要传输给边缘节点的特征图；

(2)对所述特征图进行矩阵变换，所述矩阵变换是根据特征图的矩阵中的值m_ij，将矩阵中的十进制值转化为相应的二进制值，将特征图的矩阵变换为矩阵D(k)：

其中Q为大于0的整数，矩阵D(k)中的值分为四种不同情况：

1)当m_ij＝0时，用一个比特表示0；

2)当0<|m_ij|≤1时，用一个比特表示符号位，Q个比特表示小数部分的值，s代表符号位；

3)当1<|m_ij|<9时，用一个比特表示符号位，三个比特表示整数部分的值，Q个比特表示小数部分的值，s代表符号位；

4)当|m_ij|≥9时，用32位的二进制值表示m_ij；所述矩阵变换还包括：用两个比特来编码上述的四种情况，得到矩阵S(k)：

所述矩阵变换减少了所述特征图的字节数；

(3)对变换后的矩阵进行字节流压缩，并发送给边缘节点；

(4)在边缘节点接收字节流，并进行解压缩以获得近似的特征图。

2.根据权利要求1所述的一种边缘计算系统减少通信流量的数据处理方法，其特征在于：在上述步骤(2)中，矩阵D(k)中表示小数部分的值为X/(0.5^Q)，其中X是特征图的矩阵中的小数。

3.根据权利要求1所述的一种边缘计算系统减少通信流量的数据处理方法，其特征在于：在上述步骤(2)中，当1<|m_ij|<9时，整数部分的三个比特定义为：000表示1，001表示2，依次类推，111表示8。

4.根据权利要求1所述的一种边缘计算系统减少通信流量的数据处理方法，其特征在于：当s＝0时，表示符号位为+，当s＝1时，表示符号位为-；或者，当s＝1时，表示符号位为+，当s＝0时，表示符号位为-。

5.根据权利要求1所述的一种边缘计算系统减少通信流量的数据处理方法，其特征在于：在上述步骤(3)中，所述字节流压缩采用的方法为gzip压缩。

6.根据权利要求1所述的一种边缘计算系统减少通信流量的数据处理方法，其特征在于：在上述步骤(4)中，所述解压缩包括两个步骤，首先用gzip的解压缩方法对字节流进行解压，然后对解压后的字节流进行矩阵变换逆运算，获取最终的特征图。

7.根据权利要求6所述的一种边缘计算系统减少通信流量的数据处理方法，其特征在于：所述矩阵变换逆运算包括：通过查看矩阵S(k)每个元素的编码，获取矩阵D(k)对应位置元素的分类，从而还原出m_ij的值，最终得到近似的特征图。

8.一种用于边缘计算系统减少通信流量的数据处理系统，其执行权利要求1-7之一的数据处理方法，其特征在于：所述数据处理系统包括：

特征图获取装置，用于获取边缘计算系统的终端设备需要传输给边缘节点的特征图；

矩阵变换装置，用于对所述特征图进行矩阵变换，所述矩阵变换减少了所述特征图的字节数；

压缩装置，用于对变换后的矩阵进行字节流压缩，并发送给边缘节点；

解压缩装置，用于在边缘节点接收字节流，并进行解压缩以获得近似的特征图。

Images