CN113328755B

CN113328755B - 一种面向边缘计算的压缩数据传输方法

Info

Publication number: CN113328755B
Application number: CN202110509172.1A
Authority: CN
Inventors: 许志伟; 张润秀; 陈忠民; 翟娜; 刘利民
Original assignee: Inner Mongolia University of Technology
Current assignee: Inner Mongolia University of Technology
Priority date: 2021-05-11
Filing date: 2021-05-11
Publication date: 2022-09-16
Anticipated expiration: 2041-05-11
Also published as: CN113328755A

Abstract

本发明为一种面向边缘计算的压缩数据传输方法，在边缘缓存节点处，收集原始数据，对每一位原始数据进行特征重构，构建数据特征压缩摘要，并分别存放在多个数组中，得到新的特征向量，应用编码解码神经网络构造压缩编码机制，通过编码对新的特征向量进行可分类压缩，之后对完成可分类压缩的数据在中间节点处分类转发给边缘设备处理。本发明通过对数据进行可分类压缩，有效减小数据传输和处理规模，减少移动边缘网络节点的资源消耗，并满足了边缘计算场景下中间节点对压缩数据直接进行处理的需求，为高速精准数据传输服务提供基础。

Description

一种面向边缘计算的压缩数据传输方法

技术领域

本发明属于工业自动化和云计算技术领域，涉及数据处理及传输，尤其是在多台边缘节点数据压缩传输，为一种面向边缘计算的压缩数据传输方法。

背景技术

目前，数据传输中普遍存在着数据压缩方法的使用。各种数据压缩算法被设计用于压缩文本、图像、视频、音频和其他类型数据。通过数据压缩，可以减少数据的大小，从而节省数据存储空间或缩短数据在无线网络中的传输时间。

边缘计算兴起后，网络边缘产生海量的数据，数据的高效率传输和边缘节点上的可处理性十分重要。边缘网络中基于小波的数据压缩研究目前已有一些基础性的工作。例如，针对单个传感器节点产生的时间序列信号RACE设计出的一种压缩位率自适应的Haar小波压缩算法、基于5/3小波提升方案和Haar小波的分布式压缩算法。第一种算法通过阈值来选择重要的小波系数从而调整压缩位率，此算法在单个节点内运行，通过挖掘时间相关性减少冗余数据的传输但没有考虑邻近节点间数据的空间相关性和冗余数据问题，第二种和第三种算法通过在邻近的节点间交换信息，在数据传送到汇聚节点前分布式挖掘网络中数据的空间相关性，极大地减少了冗余数据的传输。然而已有的分布式算法往往采用的是结构较为简单的小波算法且缺乏兼容性，数据压缩完成后传输到相关节点无法直接进行过滤和分析，不能支撑实时地完成相关数据处理操作；其次，引入数据压缩机制后会导致精确率下降，以精度换取效率的方法值得进一步改善。

因此，在边缘网络节点收集和传输数据的过程中，需要减小数据传输的开销并优化传输效率，同时改善引入压缩机制后导致精确率下降的现状。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种面向边缘计算的压缩数据传输方法，通过对数据进行可分类压缩，有效减小数据传输和处理规模，减少移动边缘网络节点的资源消耗，并满足了边缘计算场景下中间节点对压缩数据直接进行处理的需求，为高速精准数据传输服务提供基础。

为了实现上述目的，本发明采用的技术方案是：

一种面向边缘计算的压缩数据传输方法，包括：

步骤1，在边缘缓存节点处，收集原始数据，设置大小为k的数组1，k为原始数据的类别也即特征属性的数量，数组1的每一位对应记录一类原始数据，记录内容包括原始数据的特征属性及其数值；

步骤2，对数组1中的每一位原始数据进行特征重构，构建数据特征压缩摘要，并将所得k个数据特征压缩摘要分别存放在数组2～数组k+1中，得到k个新的特征向量；

步骤3，应用编码解码神经网络构造压缩编码机制，通过编码对k个新的特征向量进行可分类压缩；

步骤4，对完成可分类压缩的数据在中间节点处分类转发给边缘设备处理。

与现有技术相比，本发明在边缘网络节点收集和传输数据的过程中，使用数据压缩方法，为数据传输减小开销并优化传输效率，针对引入压缩机制后导致精确率下降的问题，将特征重构应用于编码解码神经网络，压缩后完整地保留了关键特征信息，降低了编码解码神经网络压缩数据时出现的信息损失对数据分类的干扰。

附图说明

图1是本发明流程图。

图2是本发明实施例的具体压缩传输过程示意图。

图3是不同数据集下运行的准确率比较示意图。

图4是不同数据集下运行时间比较示意图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明为一种面向边缘计算的压缩数据传输方法，用于提升边缘节点数据压缩的效率和准确度，如图1所示，其主要包括：

步骤1，收集原始数据，并存入数组。

原始数据通过各种不同的传感器收集，设置大小为k的数组1，k为原始数据的类别数量，也即原始数据特征属性的数量，数组1的每一位对应记录一类原始数据，记录内容包括原始数据的特征属性及其数值。

步骤2，数据特征重构。

依次对数组1中的每一位原始数据进行特征重构构建数据特征压缩摘要，并将得到的k个数据特征压缩摘要分别存放在数组2～数组k+1中，得到k个新的特征向量，具体包括：

步骤2.1，定义数组2～数组k+1为整型数组，长度为原始数据的数值经过MOD取余函数处理后得到数据的长度，将每个数组中的比特位初始化为0；

步骤2.2，利用MOD取余函数对数组1中的每位原始数据的数值运算转化成n进制数，作为相应原始数据的新的特征向量，该步骤完成了对原始数据的特征重构，共构建得到k个数据特征压缩摘要；

步骤2.3，将所得k个数据特征压缩摘要按照生成顺序按序分别存入数组2～数组k+1中。

步骤3，应用编码解码神经网络构造压缩编码机制，通过编码对k个新的特征向量进行可分类压缩。

本步骤的压缩编码机制中，编码器将输入数据即k个新的特征向量通过神经网络的非线性变换映射到目标特征空间；解码器将目标特征空间的特征通过对偶的神经网络的非线性变换还原到原始输入空间。通过神经网络的训练，在压缩后可利用最少的比特数来压缩表示原始数据的特征，目标函数为最小化重建误差。

其中，编码解码神经网络包括输入层L1、隐藏层L2和输出层L3三个部分，从输入层到隐藏层是编码过程，从隐藏层到输出层是解码过程，编码函数为：h＝f(x)＝S_f(h_A,q(x))，解码函数为：y＝g(x)＝S_g(h_A,p(h))，f(x)和g(x)分别表示从输入层到隐藏层的编码函数和从隐藏层到输出层的解码函数，h为隐藏层表示，y为输出层表示，即输出层输出数据，x为输入层输入数据，h_A,q(x)为输入层到隐藏层的传递函数，h_A,p(h)为隐藏层到输出层的传递函数，q为输入层到隐藏层的训练参数，p为和隐藏层到输出层的训练参数。输入层L1到隐藏层L2的映射权值矩阵为A，隐藏层L2到输出层L3的映射权值矩阵为

为A的转置矩阵，S_f( )为编码器的激活函数，通常取Sigmod函数，即

S_g()为解码器的激活函数，通常取Sigmod函数或者恒等函数。

本发明编码解码神经网络参数值确定过程为：

通过深度神经网络DNN进行预训练，从而确定神经网络中权值矩阵A的初始值，从而确定A的初始值，通过计算y和x的误差来训练参数，当y和x的相似程度大于阈值时，认为该神经网络能保留输入数据的大部分特征信息。

当激活函数采用Sigmod函数时，其重构误差为：

设数据集为S＝{X_i}(i＝1,2,3...n)，n为数据集中的数据个数，用公式

计算训练样本的整体损失，最后利用深度神经网络DNN算法进行迭代训练，得到使得损失函数最小的压缩自动编码器(即编码解码神经网络中的编码部分)参数θ＝{w,b,b′}，其中b和b′为偏置项，w为训练参数，x_i表示神经网络第i个输入，y_i表示神经网络对应第i个输出值，X_i表示数据集中第i个数据。

步骤4，完成可分类压缩的数据直接被中间节点分类传输到不同的边缘设备。

在本发明的一个具体实施例中，采用Covtype数据集进行训练，数据集中共有12个特征，由54列数据组成。具体地，采用了多边缘节点收集土壤植被数据，包括Elevation、Aspect、Slope、Horizontal_Distance_To_Hydrology、Vertical_Distance_To_Hydrology、Horizontal_Distance_To_Roadways、Hillshade_9am、Hillshade_Noon、Hillshade_3pm、Horizontal_Distance_To_Fire_Points、Wilderness_Area以及Soil_Type，将数据类型以及相应的数据数值依次记录在Array1中，Arrayl为1个大小为12的数组，12为数据的类别数，也即特征属性的数量。

现有的处理方式为：压缩数据在边缘网络的传输过程中，当压缩数据传输到相关节点，传输压缩编码，先需解压操作，通过消耗一定时间还原原始数据，再进行下一步的数据处理和分析。

本发明中的思路则是：在保障数据可操作的前提下进行数据压缩，通过缩减传输数据量进一步提高数据分类速度。原始数据通过压缩后进入到边缘网络的传输阶段，当需要数据处理技术对压缩数据进行分类、分析时，通过避免解压操作环节直接进行数据的分类操作。

具体地，本发明根据原始数据大小选用MOD取余函数为H(2)，对原始数据进行特征重构，例如，对第一位原始数据的数值2011进行运算，得到数据特征压缩摘要为(0010、0000、0001、0001)，存放在数组Array2中，最终得到12个数据特征压缩摘要，依次存放在数组Array2～Array13中，通过优化组合各原始数据的特征，生成新的特征向量Vector₁，......，Vector_i，......。

本实施例中：

Vector₁＝0010、0000、0001、0001

Vector₂＝0000、0011、0100、0100

Vector₃＝0000、0000、0001、0111

Vector₄＝0000、0011、0001、0011

Vector₅＝0000、0000、0010、1001

Vector₆＝0000、0100、0000、0100

Vector₇＝0000、0001、1000、0011

Vector₈＝0000、0010、0001、0001

Vector₉＝0000、0001、0110、0100

Vector₁₀＝0000、0011、0000、0000

Vector₁₁＝0000、0000、0000、0001

Vector₁₂＝0000、0000、0011、0110

将新的特征向量Vector₁～Vector₁₂作为编码解码神经网络的输入，传感器接收的原始数据总共12个特性，重构特征后输入大小是16*12，对特征进行编码压缩后输出大小是1*6。最后，将压缩编码通过相关节点传输到边缘设备，完成传输。

本发明在数据传输过程中执行数据特征重构压缩传输以提高数据传输的效率，在传感器收集到原始数据后对其进行编码，生成新特征向量后将其组合为一组数据输入压缩编码器，随后，使用应用编码解码神经网络的压缩编码方法对编码后的数据进行可分类压缩传输，分类结果为数据的类别Elevation、Aspect、Slope、Horizontal_Distance_To_Hydrology、Vertical_Distance_To_Hydrology、Horizontal_Distance_To_Roadways、Hillshade_9am、Hillshade_Noon、Hillshade_3pm、Horizontal_Distance_To_Fire_Points、Wilderness_Area以及Soil_Type。由于不同处理器处理不同类别的数据，压缩后的数据可不用解压，直接按照处理器所需类别直接发送，分类结果即为不同类别数据。使用这种压缩编码方式压缩数据可以直接在中间节点处分类转发，转发给处理此类数据的设备，而无需解压后分类，通过可分类压缩，有效减小了数据传输和处理规模，减少了移动边缘网络节点的资源消耗，满足了边缘计算场景下中间节点对压缩数据直接进行处理的需求，相比于传统数据传输方式提高了效率，同时保证了准确度。

为体现分类结果，进一步地，本发明进行了如下实验进行验证：

利用基于支持向量机算法搭建数据分类模型：将压缩编码通过相关节点传输到边缘设备，在微型设备上搭建SVM分类模型。采用常用的分类评估指标：准确率，其计算公式如下：

其中：TP表示正确分类数据个数，FP表示错误分类的数据个数，FN表示属于该数据类型但被错分的数据个数，TN表示属于其他数据类型被分到其他类别的数据个数。基于上述实施例的数据集，对传感器收集到的数据不做任何处理直接用SVM算法构建分类模型，用SbaVM标识；对数据进行压缩编码后构建分类模型，用Saboc标识；对传感器接收的数据首先进行特征重构，然后进行压缩编码后再构建分类模型，用DccAbofe标识。实验运行准确率如图3所示，运行时间如图4所示，表1也反映了实验的准确率和运行时间对比。

表1实验1准确率和运行时间对比表

通过观察图3、图4和表1，在选取的实验中，压缩编码分类机制(Saboc)比传统支持向量机模型(SbaVM)的运行时间至少降低6070ms，当数据量达到35000时，准确率降低了15.12％；基于特征重构的压缩编码分类模型(DccAbofe)比传统支持向量机模型(SbaVM)运行时间至少降低6240ms，与此同时当数据量达到16000时，准确率提升了3％。

以上，对本发明的具体实施方式做了具体描述，但是不应该认定本发明的具体实施只局限于这些说明。对于本发明所属领域的普通技术人员来说，在不脱离本发明构思和由权利要求书所限定的保护范围的前提之下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种面向边缘计算的压缩数据传输方法，其特征在于，包括：

步骤2，依次对数组1中的每一位原始数据进行特征重构，构建数据特征压缩摘要，并将所得k个数据特征压缩摘要分别存放在数组2～数组k+1中，得到k个新的特征向量；步骤如下：

步骤2.3，将所得k个数据特征压缩摘要按照生成顺序按序分别存入数组2～数组k+1中；

所述压缩编码机制中，编码器将输入数据即k个新的特征向量通过神经网络的非线性变换映射到目标特征空间；解码器将目标特征空间的特征通过对偶的神经网络的非线性变换还原到原始输入空间；

2.根据权利要求1所述面向边缘计算的压缩数据传输方法，其特征在于，所述步骤1中，原始数据通过传感器收集。

3.根据权利要求1所述面向边缘计算的压缩数据传输方法，其特征在于，所述编码解码神经网络包括输入层L1、隐藏层L2和输出层L3三个部分，从输入层到隐藏层是编码过程，从隐藏层到输出层是解码过程，编码函数为：h＝f(x)＝S_f(h_A,q(x))，解码函数为：y＝g(x)＝S_g(h_A,p(h))，f(x)和g(x)分别表示从输入层到隐藏层的编码函数和从隐藏层到输出层的解码函数，h为隐藏层表示，y为输出层表示，即输出层输出数据，x为输入层输入数据，输入层L1到隐藏层L2的映射权值矩阵为A，隐藏层L2到输出层L3的映射权值矩阵为

为A的转置矩阵，S_f()为编码器的激活函数，S_g()为解码器的激活函数，h_A,q(x)为输入层到隐藏层的传递函数，h_A,p(h)为隐藏层到输出层的传递函数，q为输入层到隐藏层的训练参数，p为和隐藏层到输出层的训练参数。

4.根据权利要求3所述面向边缘计算的压缩数据传输方法，其特征在于，所述编码解码神经网络的参数值确定过程为：通过深度神经网络DNN进行预训练，从而确定A的初始值，通过计算y和x的误差来训练参数，当y和x的相似程度大于阈值时，认为该神经网络能保留输入数据的大部分特征信息。

5.根据权利要求4所述面向边缘计算的压缩数据传输方法，其特征在于，所述解码器的激活函数取Sigmod函数或者恒等函数，所述编码器的激活函数取Sigmod函数，即

其重构误差为：

设数据集为S＝{X_i}，i＝1,2,3...n，n为数据集中的数据个数，用公式J(θ)＝∑_x∈SL(x,g(f(x)))计算训练样本的整体损失，最后利用深度神经网络DNN算法进行迭代训练，得到使得损失函数最小的压缩自动编码器参数θ＝{w,b,b′}，其中b和b′为偏置项，w为训练参数，x_i表示神经网络第i个输入，y_i表示神经网络对应第i个输出值，X_i表示数据集中第i个数据。

6.根据权利要求4所述面向边缘计算的压缩数据传输方法，其特征在于，所述步骤4中，完成可分类压缩的数据直接被中间节点分类传输到不同的边缘设备。