CN115913247A - 一种高频电力数据深度无损压缩方法及系统 - Google Patents

Abstract

一种高频电力数据深度无损压缩方法及系统，使用自注意力挖掘数据局部信息设计新型的T‑Transformer模型，增加高斯先验，加强数据的相关性；对模型输出概率使用算术编码器压缩；最后，对编码得到的区间采用比特编码，进一步提升压缩性能，节省数据存储空间，实现高效的电力数据无损压缩。传统电力压缩算法只能局限于正弦频率型数据，如小波变换等，而对家庭区实测用电数值，单位为安培、伏特等物理参数数据的压缩性能明显下降。本发明提出一种深度无损压缩方案，对电力数据从语义角度将特征空间分割困难的问题，提供了一种可以解决该问题的深度模型。

Description

一种高频电力数据深度无损压缩方法及系统

技术领域

本发明属于数据处理技术领域，涉及对电力数据的压缩，为一种高频电力数据深度无损压缩方法。

背景技术

压缩在信息传输中，压缩对于传输有着至关重要的重用，相较于奈奎斯特采样，压缩感知对采样条件要求更低，它的特殊采样方式打破了奈奎斯特采样定律的限制，拥有更高的计算效率。在传统的电力压缩算法中，数据段处于不平稳状态时的重建效果较差，对信号频率的分析变化会显得困难。区别于同步向量测量的数据，分钟级电力数据则以实时数据测量传输，对于电网统计的居民生活区用电数据的压缩与恢复问题，成为相关部门迫切需求。

近年来，家庭用户用电供应需求增大，采集用电电表需要传输生活区每户用电数值，进而存储与传输的工作就变得非常重要。一方面，生活区电表并不能完全采集到所有连续电力数据，而是一组离散时间序列，所测绘出的数值并非连续且存在null值，而且不同用户用电数据各不相同，彼此之间没有明显的相关性，现有技术的经典压缩算法对这种数据的压缩分析较为困难。另一方面，经典的有损压缩在如此庞大的家庭用户数据量上会造成极大的数据损失，影响用电数据采集的准确性。随着计算机人工智能技术的发展，深度学习的方法对数据的建模提供了极大的帮助，已有一些深度压缩感知方案的研究，但面对海量用电数据以及对数据无损、准确性的要求，常用的提升网络的深度来提高性能的方式会增加模型的训练时间及数据处理时间，增加对数据处理设备硬件资源要求，不利于数据采集及传输设备的部署。

发明内容

本发明要解决的技术问题是：现有的深度压缩感知算法不适用对电力数据的压缩，需要提供一种可以做到电力数据无损压缩的方案。

本发明的技术方案为：一种高频电力数据深度无损压缩方法，对采集的居民用电数据进行无损压缩，包括以下步骤：

1)设计电力数据特征提取模型T-Transformer，所述T-Transformer模型基于Transformer模型，在Encoder和Decoder增加高斯先验模块，由居民用电的历史数据训练T-Transformer模型，学习居民用电数据的特征；

2)输入待压缩电力数据至T-Transformer模型，输出得到电力数据的注意力特征，经由线性变换层得到输出向量；

3)通过算术编码对输出向量进行编码得到概率区间；

4)对编码得到的概率区间进行比特编码，完成数据压缩；

5)利用解码器对压缩数据解压。

本发明还提供一种高频电力数据深度无损压缩系统，配置有计算机存储介质，所述计算机可读存储介质上存储有计算机程序,该计算机程序被执行时,实现上述的方法。

本发明设计T-Transformer模型作为训练的网络，相较于文本数据词与词之间的强相关性，电力数据的序列结构以及每个浮点数的关联性不强等特点导致它会出现语义分割困难的情况，本发明利用Self-Attention的结构来提取特征，避免数据丢失情况下长时依赖会丢失传递信息，转而挖掘数据的局部信息。

进一步的，本发明对于电力数据处理时，使用相对位置编码代替绝对位置编码，提取数据位置特征，构建数据向量。并考虑到数据局部信息的不平稳性，数据之间的关联难以区分，增加高斯先验模块，提升维度信息的相关性，加强自注意力捕获局部特征的能力。

本发明在通过相对位置编码构建数据字典后，电力数据将转化为坐标向量输入T-Transformer网络，得到数据特征，数据学习过后通过全连接将多维的数据特征变为一维的区间编码，每维度代表着与字典中该位置的数据关系程度，最后通过softmax转化得到可能出现在下一位的数据的概率。

居民用户用电数据为分钟级数据，相对于工业用电数据那种高电模式，居民用电数据波动频率周期性弱，尤其是考虑到提高传输端的效率，数据采集的往往是同一分钟下的多个用户用电数据，这种数据在时域以及频域下的周期性基本可以忽略不计。家庭用电的测量数值是实时性的标准用电量，包括电压、电流、功率，存在数据波动域不稳定和数据某一段的激变的情况，这使得现有技术的常用压缩方法，如小波变换等，在这种情况下的重构结果会有不小的损失。因此本发明所针对的数据类型与数据传输模式都具有其独特性。

本发明高频电力数据深度无损压缩方法，具有如下有益效果：

1、引入基于Transformer的模型在电力数据无损压缩领域，基于Transformer的多头注意力机制不受长期依赖，不存在丢失位置信息，有效解决了电力数据的不平稳性对特征提取的影响，并缩小数据训练时的潜在搜索空间。

2、考虑到高频电力数据语义特征弱，数据分布密集，自注意力捕获特征困难，本发明设计了T-Transformer模型，同时结合了相对位置编码、多头自注意力、高斯先验模块，综合提升了数据训练速度和训练效果。

3、深度模型结合算术编码，有效提升压缩算法的性能；解决大多电力压缩算法存在的数据稀疏、难以识别复杂模式和无法利用数据语义关联性的问题。

附图说明

图1为本发明的流程图。

图2为本发明中的网络模型图。

图3为本发明中的方法步骤图。

图4为本发明的算术编码算法结构。

图5为本发明的比特编码结构示意图。

图6是本发明数据解压结果图示意图。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步详细描述。

如图1所示，本发明提出一种高频电力数据深度无损压缩方法，包括以下步骤：

(1)设计T-Transformer模型，学习电力数据特征；

(2)输入待压缩电力数据至训练模型，输出得到电力数据的注意力特征，经由线性变换层得到输出向量；

(3)通过算术编码对输出向量进行编码得到概率区间；

(4)对编码得到的概率区间进行比特编码，完成数据压缩；

(5)解码器根据通讯过程后的压缩数据解压。

其中，设计T-Transformer作为预训练的模型，因为高频电力数据的不平稳性以及弱语义性，在网络中增加相对位置编码、高斯先验模块，增强数据特征的提取以及对不同序列电力数据的学习能力，例如：功率，电压、电流。采用算术编码与比特编码算法，对概率区间编码得到压缩数据，提高压缩效率。

本发明的高频电力数据深度无损压缩方法，由计算机程序实现，主要包括三个模块：生成模块、压缩模块和解压模块。本发明具体实施如下。

(1)模型训练

为了使网络更能本学习高频电力数据的序列特征，本发明设计了T-Transformer网络作为训练模型，高频电力数据分布密集且不平稳，语义特征提取困难，且为浮点数，而T-Transformer的多头注意力机制不受长期依赖，直接计算每个词之间的相关性，不存在丢失过去信息，高斯先验模块可以提升临近数据的特征表达。如图2所示，显示了本发明的T-Transformer模型的结构图。

(2)生成模块

T-Transformer分为Encoder与Decoder两个部分，本发明对输入数据首先需要经过预处理，其中计算每个数据的相对位置编码，它可以使得模型可以适应不同长度的数据，并节省计算量，公式为：

式(1)中，采用正弦与余弦函数计算，因为他们具有周期性，在偶数位置，使用正弦编码，在奇数位置，使用余弦编码。其中ps为数据的绝对位置，i是数据向量的第i维，dm为数据向量的维度。

Encoder中的多头注意力机制中的每个attention计算处注意力向量，拼接后得到Encoder特征，扩展了模型专注于不同位置的能力，本发明在输入注意力机制前，增加了高斯先验模块。电力数据的每个浮点数的关联性不强，数据很难参照词对应词的语义空间，只有时间上可以找到特征，再有受到数据采集条件的影响，居民用电数据本身存在20％左右的丢失，本发明设计的T-Transformer模型使用自注意力来分析数据特征，并通过设计的高斯先验模块将位置近的权重加大，以提升数据维度的关联性，加强自注意力捕获局部特征的能力，使对非周期性数据的训练效果得到提升。如图2所示，输入数据先经过高斯先验模块，得到新的第i个数据向量X_i：

位置编码就是求出一个数据的位置向量，以此作为模型的输入，本发明的公式(2)是对输入向量做优化，式(2)中，w为权重，b为偏差，x_i表示当前处理的中心数据，x_j表示其他数据，d为距离公式，求取x_i和x_j的距离。

高斯先验后的数据向量传入多头注意力，多头注意力公式表达为：

MultiHead(Q,K,V)＝Concat(H₁,H₂)W^O   (3)

式(3)中，H₁和H₂为多头注意力的两个自注意力模块，W^O是权重。其中自注意力H_i的计算公式为：

式(4)中Attention为自注意力，Q是查询矩阵，K是想要关注的内容，QK^T是点乘操作，目的是计算出Q在V上的注意力权重；

是对点积尺度化。经过在层归一化后使用前馈网络层计算输出特征向量，计算公式为：

FFN(x)＝Dense₂(Relu(Dense₁(x)))   (5)

式(5)中使用了两层Dense与一层Relu激活函数。Encoder模块的每一个子层之后都有一个残差计算，FFN为前馈网络。Decoder的结构与Encoder相似，该模块接收Encoder的输出，并最终输出预测特征向量，经由softmax函数输出下一个预测数据的输出向量。

(3)压缩模块

如图3所示，本发明方法总体步骤为调用模型得到采集的各居民用电数据的电力特征，并通过编码方法进行压缩，本发明实施例使用的编码方式为算术编码Arithneticcoding，并最终输出压缩的比特码。

待压缩电力数据为多位数，每个数据经T-Transformer模型处理后得到一个对应多位数的输出向量，如图4所示，算术编码是一种无损数据压缩方法，思路是输入一个数据，输出下一个数据的概率区间，并更新概率区间。图中实施例为将四位电压数据的4个数表示在一个概率区间内的概率，首先，根据softmax函数计算的输出向量，在[0,1]区间上找出第一位数的概率区间，并更新区间范围，再找出第二位数可能出现的概率区间，依次下去，最后得到可以表示四位数同时出现的概率区间。

比特编码由图5所示，在图4得出更新的概率区间后，使用low表示该区间的左边界，high表示该区间的右边界，由于概率在[0,1]内，因此将两个边值取小数点后的部分转化为二进制表示，两个二进制数据按位进行比对，在首次出现不同的位置进行截取，舍去之后的数据，保留相同的二进制数据结果作为最终比特流结果，以此来进一步节省编码结果的精度长度。

(4)解压模块

如图6的一个示例所示，选择200块电表的分钟级功率数据，使用本发明的对应压缩的解压器解压出的结果，(a)为原始数据，(b)为解压后的结果，其中横坐标表示用户，纵坐标表示功率数值。

综上所述，本发明所述的高频电力数据深度无损压缩方法，充分结合了深度学习与压缩感知的知识，实现了高频电力数据无损压缩的方法；考虑到高频电力数据语义特征弱，数据分布密集且不平稳，设计T-Transformer模型学习电力数据特征，使对非周期性数据的学校效果得到提升；使用算术编码结合改进的比特编码压缩量化后的电力特征，有效提升了压缩效率；最后使用解码器对通信传输后的压缩数据解压，解压出原始数据，实现了高频电力数据深度无损压缩。

Claims (6)

1.一种高频电力数据深度无损压缩方法，其特征在于，对采集的居民用电数据进行无损压缩，包括以下步骤：

1)设计电力数据特征提取模型T-Transformer，所述T-Transformer模型基于Transformer模型，在Encoder和Decoder增加高斯先验模块，由居民用电的历史数据训练T-Transformer模型，学习居民用电数据的特征；

2)输入待压缩电力数据至T-Transformer模型，输出得到电力数据的注意力特征，经由线性变换层得到输出向量；

3)通过算术编码对输出向量进行编码得到概率区间；

4)对编码得到的概率区间进行比特编码，完成数据压缩；

5)利用解码器对压缩数据解压。

2.根据权利要求1所述的高频电力数据深度无损压缩方法，其特征在于，所述T-Transformer模型基于Transformer模型，在Encoder与Decoder之前增加高斯先验，对输入的用电数据首先进行预处理，计算每个数据的相对位置编码，公式为：

采用正弦与余弦函数计算，在偶数位置，使用正弦编码，得到偶数位置编码PE_ps,2i，在奇数位置，使用余弦编码，得到奇数位置编码PE_ps,2i+1，其中ps为数据的绝对位置，i是数据向量的第i维，dm为数据向量的维度；

其中，Encoder中由多头注意力机制提取注意力向量，拼接后得到Encoder特征，在进行注意力处理前，增加一个高斯先验模块，加强自注意力捕获局部特征的结构，得到新的第i个数据向量X_i：

式(2)中，w为位置权重，b为偏差，x_i表示当前中心数据，x_j表示其他数据，d为距离公式，高斯先验后的数据向量通过多头自注意力得到，

层归一化后使用前馈网络层得到Encoder的输出特征向量：

FFN(x)＝Dense₂(Relu(Dense₁(x)))          (5)

式(5)中使用了两层Dense函数与一层Relu激活函数，Encoder模块的每一个子层之后会接一个残差计算，FFN为前馈网络；

Decoder的结构对应于Encoder结构，该模块接收Encoder的输出，并输出预测特征向量。

3.根据权利要求1所述的高频电力数据深度无损压缩方法，其特征在于，步骤3)首先，根据T-Transformer模型处理待压缩电力数据得到对应的输出向量，根据待压缩电力数据的位数，在[0,1]区间上找出第一位的概率区间，并更新区间范围，再找出第二位数可能出现的概率区间，依次下去，最后得到表示电力数据所有位数同时出现的概率区间。

4.根据权利要求1所述的高频电力数据深度无损压缩方法，其特征在于，步骤4)具体为：得出最后的概率区间后，使用low表示该区间的左边界，high表示该区间的右边界，并将两个边值取小数点后的部分转化为二进制表示，两个二进制数据按位进行比对，在首次出现不同的位置进行截取，舍去之后的数据，保留相同的二进制数据结果作为最终比特流结果完成压缩。

5.根据权利要求1所述的高频电力数据深度无损压缩方法，其特征在于，解码器根据通讯过程后的压缩数据解压的过程包括：

将通信过后的压缩数据输入解码器，经由解码器推理解压出原始数据。

6.一种高频电力数据深度无损压缩系统，其特征在于，配置有计算机存储介质，所述计算机可读存储介质上存储有计算机程序,该计算机程序被执行时,实现权利要求1-5任一项所述的方法。

Images