CN111313907A

CN111313907A - 一种海量电力数据压缩的方法及装置

Info

Publication number: CN111313907A
Application number: CN202010101483.XA
Authority: CN
Inventors: 杨舟; 周政雷; 陈珏羽; 李刚; 何涌; 张智勇; 潘俊涛; 唐利涛; 韦杏秋
Original assignee: Guangxi Power Grid Co Ltd
Current assignee: Guangxi Power Grid Co Ltd
Priority date: 2020-02-19
Filing date: 2020-02-19
Publication date: 2020-06-19
Anticipated expiration: 2040-02-19
Also published as: CN111313907B

Abstract

本发明公开了一种海量电力数据压缩方法及装置，其中，所述方法包括：接收当前电力数据，判断所述当前电力数据是否预设时间段内的电力数据相连续；若是，获得连续电力数据，对所述连续电力数据中相邻两条数据的负荷、结算中数组数据的重复数据项或可推算数据项进行检测，获得检测数据；基于所述检测数据进行归一化描述压缩处理，获得压缩数据。本发明实施中，通过对通信应用层数据中的数组数据类型数据进行压缩，确保了数据的完整性，同时缓解了电力传输数据的压力。

Description

一种海量电力数据压缩的方法及装置

技术领域

本发明涉及数据压缩技术领域，尤其涉及一种海量电力数据压缩的方法及装置。

背景技术

在电力通信行业随着业务需求的不断增加，对数据采集的数据通信量不断加大。在各种通信介质下，如窄带载波、微功率无线等通信介质，通信数据量增加，会增加通信数据分帧概率，或增加传输错误概率。在能够实现解压缩数据信息不丢失的前提下，通过压缩方式将大数据量的数据压缩是很有必要的。当前电力系统数据采集包括结算、负荷等数据，且该部分数据采集频率高、数据量大，随着业务需求的不断增加，对电力压力也越来越重。但相邻两条负荷、结算中数组数据存在重复数据或可推算数据 (捕获时间)，为数据压缩提供了可能。本发明实施中，提出了一种海量电力通信数据压缩机制，该机制为，针对通信应用层数据中的数组数据类型数据，进行压缩的一种压缩方法。该机制主要针对该部分数据进行压缩，接收方收到数据后可实现数据的完全解压缩，确保数据的完整性，同时缓解了传输压力。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种海量电力数据压缩的方法及装置，电力接收新的数据之后，通过对通信应用层数据中的数组数据类型数据进行压缩，确保了数据的完整性，同时缓解了电力传输数据的压力。

为了解决上述技术问题，本发明实施例提供了一种海量电力数据压缩的方法，所述方法包括：

接收当前电力数据，判断所述当前电力数据是否预设时间段内的电力数据相连续；

若是，获得连续电力数据，对所述连续电力数据中相邻两条数据的负荷、结算中数组数据的重复数据项或可推算数据项进行检测，获得检测数据；

基于所述检测数据进行归一化描述压缩处理，获得压缩数据。

可选的，所述预设时间段为1小时。

可选的，所述若是，获得连续电力数据，对所述连续电力数据中重复数据项或可推算数据项进行检测，获得检测数据，包括：

获得连续电力数据之后，将所述连续电力数据提取出来得到需要检测的数据；

基于所述需要检测的数据，检测是否存在重复数据项或可推算数据项；

若是，获得检测数据，将所述检测数据用归一化符来表示。

可选的，所述重复数据项或可推算数据项，包括：

相邻两条数据的负荷中数据数组的重复数据项或可推算数据项；和；

相邻两条数据的结算中数据数组的重复数据项或可推算数据项。

可选的，所述检测数据中的第一条数据保留原有的数据值。

另外，本发明实施例还提供一种海量电力数据压缩的装置，所述装置包括：

判断模块：用于接收当前电力数据，判断所述当前电力数据是否预设时间段内的电力数据相连续；

检测模块：用于获得连续电力数据，对所述连续电力数据中相邻两条数据的负荷、结算中数组数据的重复数据项或可推算数据项进行检测，获得检测数据；

压缩模块：用于基于所述检测数据进行归一化描述压缩处理，获得压缩数据。

可选的，所述检测模块还包括：用于获得连续电力数据之后，将所述连续电力数据提取出来得到需要检测的数据；基于所述需要检测的数据，检测是否存在重复数据项或可推算数据项；若是，获得检测数据，将所述检测数据用归一化符来表示。

在本发明实施中，电力接收新的数据之后，通过对通信应用层数据中的数组数据类型数据进行压缩，确保了数据的完整性，同时缓解了电力传输数据的压力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中一种海量电力数据压缩的方法的流程示意图；

图2是本发明实施例中一种海量电力数据压缩的装置的结构组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

请参阅图1，图1是本发明实施例中一种海量电力数据压缩的方法的流程示意图。

如图1所示，一种海量电力数据压缩的方法，所述方法包括：

S11：接收当前电力数据，判断所述当前电力数据是否预设时间段内的电力数据相连续；

在本发明具体实施过程中，所述预设时间段为1小时。

S12：若是，获得连续电力数据，对所述连续电力数据中相邻两条数据的负荷、结算中数组数据的重复数据项或可推算数据项进行检测，获得检测数据；

在本发明具体实施过程中，所述若是，获得连续电力数据，对所述连续电力数据中重复数据项或可推算数据项进行检测，获得检测数据，包括：获得连续电力数据之后，将所述连续电力数据提取出来得到需要检测的数据；基于所述需要检测的数据，检测是否存在重复数据项或可推算数据项；若是，获得检测数据，将所述检测数据用归一化符来表示，如归一化符null。

在本发明具体实施过程中，所述重复数据项或可推算数据项，包括：相邻两条数据的负荷中数据数组的重复数据项或可推算数据项；和；相邻两条数据的结算中数据数组的重复数据项或可推算数据项。

在本发明具体实施过程中，所述检测数据中的第一条数据保留原有的数据值。

请参阅表1、表2、表3、表4，表1是未压缩的原始数据的示意表，表2是压缩时间字段后的数据的示意表，表3是压缩时间、状态字和寄存器字段后的数据的示意表，表4是5条记录数据传输描述的示意表。

具体的，针对时间捕获周期为1小时，2019-01-01/00:00:00— 2019-01-01/04:00:00时间段内数据，5条未压缩的原始数据如下表1所示：

表1 未压缩的原始数据的示意表

Date/Time	Status	Register_1
			2019-01-01/00:00:00	00	115
2019-01-01/01:00:00	00	115
			2019-01-01/02:00:00	00	115
2019-01-01/03:00:00	00	117
			2019-01-01/04:00:00	80	119

由表1可知，5条数据时间连续，发生时间均为上一条记录的时间+捕获周期的偏移值(1小时)，则时间字段可进行归一化描述压缩，为实现时间的解析，第一条数据不可采用归一化描述压缩方式。

压缩时间字段后的数据如下表2所示：

表2 压缩时间字段后的数据的示意表

其中，第2、3、4、5条记录的时间(14字节，数据类型+长度+Value， year highbyte,year lowbyte,month,day of month,day of week,hour,minute, second,hundredths ofsecond,deviation highbyte,deviation lowbyte,clock status)允许压缩，可使用null表示(1字节0x00)。每条记录可减少13字节的数据通信量。

另外，5条数据除时间连续外，状态字和寄存器也存在数值与上一条记录的数值相同情况，则状态字和寄存器字段也可进行压缩，可使用归一化描述压缩。为实现数值解析，第一条数据不可采用归一化描述压缩方式。

压缩时间，状态字和寄存器字段后的数据如下表3所示：

表3 压缩时间、状态字和寄存器字段后的数据的示意表

Date/Time	Status	Register_1
			2019-01-01/00:00:00	0x00	115
{}	{}	{}
			{}	{}	{}
{}	{}	117
			{}	0x80	119

其中，第2、3、4条记录的Status(2字节，数据类型+Value)允许压缩，可使用null表示(1字节0x00)。每条记录可减少1字节的数据通信量。第2、3条记录的Register_1(具体根据相应的寄存器，假设为正向有功电量值，5字节，数据类型+Value)允许压缩，可使用null表示(1字节0x00)。每条记录可减少4字节的数据通信量。

本具体举例中，与未压缩数据相比，5条记录中，第2条记录可减少 18字节数据，第3条记录可减少18字节数据，第4条记录可减少14字节数据，第5条数据可减少13字节数据。

当前面向对象电力通信APDU的编码规则遵循A-XDR，上例中，5条记录数据传输描述如下表4所示：

表4 5条记录数据传输描述的示意表

S13：基于所述检测数据进行归一化压缩处理，获得压缩数据。

在本发明实施中，电力接收新的数据之后，通过对通信应用层数据中的数组数据类型数据进行归一化压缩处理，确保了数据的完整性，同时缓解了电力传输数据的压力。

实施例

请参阅图2，图2是本发明实施例中一种海量电力数据压缩装置的结构组成示意图。

如图2所示，一种海量电力数据压缩的装置，所述装置包括：

判断模块11：用于接收当前电力数据，判断所述当前电力数据是否预设时间段内的电力数据相连续；

检测模块12：用于获得连续电力数据，对所述连续电力数据中相邻两条数据的负荷、结算中数组数据的重复数据项或可推算数据项进行检测，获得检测数据；

在本发明具体实施过程中，所述检测模块还包括：用于获得连续电力数据之后，将所述连续电力数据提取出来得到需要检测的数据；基于所述需要检测的数据，检测是否存在重复数据项或可推算数据项；若是，获得检测数据，将所述检测数据用归一化符来表示。

压缩模块13：用于基于所述检测数据进行归一化描述压缩处理，获得压缩数据。

在本发明具体实施过程中，所述反向解压缩模块还包括：用于在数据压缩完成之后，基于所述压缩之后的数据项，根据压缩规则，进行反向解压缩操作；通过所述反向解压缩操作，获取压缩前的完整数据。

具体地，本发明实施例的装置相关功能模块的工作原理可参见方法实施例的相关描述，这里不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种海量电力数据压缩的方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种海量电力数据压缩的方法，其特征在于，所述方法包括：

若是，获得连续电力数据，对所述连续电力数据中重复数据项或可推算数据项进行检测，获得检测数据；

基于所述检测数据进行归一化压缩处理，获得压缩数据。

2.根据权利要求1所述的一种海量电力数据压缩的方法，其特征在于，所述预设时间段为1小时。

3.根据权利要求1所述的一种海量电力数据压缩的方法，其特征在于，所述若是，获得连续电力数据，对所述连续电力数据中重复数据项或可推算数据项进行检测，获得检测数据，包括：

若是，获得检测数据，将所述检测数据用归一化符来表示。

4.根据权利要求3所述的一种海量电力数据压缩的方法，其特征在于，所述重复数据项或可推算数据项，包括：

5.根据权利要求3所述的一种海量电力数据压缩的方法，其特征在于，所述检测数据中的第一条数据保留原有的数据值。

6.一种海量电力数据压缩的装置，其特征在于，所述装置包括：

7.如权利要求6所示的一种海量电力数据压缩的装置，其特征在于，所述检测模块还包括：用于获得连续电力数据之后，将所述连续电力数据提取出来得到需要检测的数据；基于所述需要检测的数据，检测是否存在重复数据项或可推算数据项；若是，获得检测数据，将所述检测数据用归一化符来表示。