CN118138056A - 一种用于新能源场站的数据混合存储管理方法 - Google Patents

Abstract

本发明涉及数据编码技术领域，具体涉及一种用于新能源场站的数据混合存储管理方法；根据预设间隔步长对状态数据序列进行采样获得最优间隔步长；根据最优间隔步长对状态数据序列进行采样获得最优采样序列和第一剩余序列。获取第一剩余序列的最优间隔步长和最优采样序列，直至所有数据点被采样；将最优间隔步长排序获得步长序列；将最优采样序列拼接获取重组序列和差分序列；根据差分序列的数据类型构建二进制矩阵并扫描获得二进制序列；根据二进制序列的数据分布特征获得最优二进制序列和最优扫描方式。本发明使用游程编码获得最优二进制序列的二进制数据压缩包进行存储，提高了压缩效率和存储空间利用率。

Description

一种用于新能源场站的数据混合存储管理方法

技术领域

本发明涉及数据编码技术领域，具体涉及一种用于新能源场站的数据混合存储管理方法。

背景技术

新能源场站指集中接入电力系统的风电场或太阳能电站中所有设备的集合，随着新能源技术的快速发展和应用，投入运行的新能源场站越来越多。新能源场站运行的监测数据大幅增长，监测数据对分析新能源场站的运作状态至关重要；但大幅增长的监测数据需要更多的存储空间。

为了能够提高监测数据的存储空间的利用率，需要对监测数据进行编码压缩，降低数据量。游程编码是传统的数据编码方式，但游程编码的数据压缩效率依赖于监测数据的数值分布特征，当监测数据的数值分布较为离散时，会导致编码压缩的效率降低，数据量减少不明显；使得监测数据的存储空间的利用率低。

发明内容

为了解决上述通过现有的游程编码对监测数据进行编码压缩的效率不高，难以提高存储空间的利用率的技术问题，本发明的目的在于提供一种用于新能源场站的数据混合存储管理方法，所采用的技术方案具体如下：

获取监测新能源场站的状态数据序列；根据预设间隔步长对所述状态数据序列进行采样获得第一采样序列；根据第一采样序列的数据变化特征和长度特征获得初始优选程度；根据第一采样序列和状态数据序列的数据差异特征获得权重系数；根据所述权重系数和初始优选程度获得最优间隔步长；

根据所述最优间隔步长对所述状态数据序列进行采样获得最优采样序列和第一剩余序列；继续获取第一剩余序列的最优间隔步长和最优采样序列，直至状态数据序列中所有数据点被采样；将最优间隔步长按照顺序进行排序获得步长序列；将最优采样序列按顺序进行拼接获取重组序列；将所述重组序列进行差分获得差分序列；

根据所述差分序列的数据类型进行位图转换构建二进制矩阵；将所述二进制矩阵使用不同的扫描方式进行扫描获得不同的二进制序列；根据所述二进制序列的数据分布特征获得最优二进制序列和最优扫描方式；

使用游程编码算法对所述最优二进制序列进行压缩获得二进制数据压缩包；根据步长序列、最优扫描方式和二进制数据压缩包对新能源场站的状态数据序列进行存储。

进一步地，所述根据预设间隔步长对所述状态数据序列进行采样获得第一采样序列的步骤包括：

所述预设间隔步长不超过状态数据序列的一半，在所述状态数据序列中从首个数据点开始按照预设间隔步长的间隔长度进行采样，获得采样数据点；将采样数据点按照顺序排序，获得第一采样序列。

进一步地，所述根据第一采样序列的数据变化特征和长度特征获得初始优选程度的步骤包括：

计算所述第一采样序列与所述状态数据序列的数据点数量比值，获得长度特征值；计算所述第一采样序列中数据点数值的方差并负相关映射，获得稳定特征值；计算所述长度特征值与所述稳定特征值的乘积，获得预设间隔步长的初始优选程度。

进一步地，所述根据第一采样序列和状态数据序列的数据差异特征获得权重系数的步骤包括：

计算所述第一采样序列中末位数据点与所述状态数据序列中第二位数据点的差值绝对值并负相关映射，获得预设间隔步长的权重系数。

进一步地，所述根据所述权重系数和初始优选程度获得最优间隔步长的步骤包括：

计算预设间隔步长的所述初始优选程度和所述权重系数的乘积，获得预设间隔步长的最终优选程度；将最终优选程度最大值对应的预设间隔步长作为最优间隔步长。

进一步地，所述根据所述最优间隔步长对所述状态数据序列进行采样获得最优采样序列和第一剩余序列的步骤包括：

在所述状态数据序列中从首个数据点开始按照最优间隔步长的间隔长度进行采样，获得最优采样点；将最优采样点按照顺序排序，获得最优采样序列；将所述状态数据序列中非最优采样点的数据点按照顺序排序，获得第一剩余序列。

进一步地，所述将最优间隔步长按照顺序进行排序获得步长序列的步骤包括：

将获得的每个最优间隔步长按照获取顺序进行排序获得步长序列。

进一步地，所述将最优采样序列按顺序进行拼接获取重组序列的步骤包括：

将获得的每个最优采样序列按照获取顺序进行拼接，获得重组序列。

进一步地，所述根据所述差分序列的数据类型进行位图转换构建二进制矩阵的步骤包括：

对于所述差分序列中任意数据类型，在所述差分序列中出现所述任意数据类型的数据点位置取值为常数1，其他数据点位置取值为常数0，构建与差分序列等长的二进制编码；将每个数据类型的二进制编码纵向排列，获得所述二进制矩阵。

进一步地，所述根据所述二进制序列的数据分布特征获得最优二进制序列和最优扫描方式的步骤包括：

计算所述二进制序列中任意相连的常数1的数据长度，获得区间长度值，计算所述区间长度值的平均值，获得二进制序列的分布特征值；将所述分布特征值最大值的二进制序列作为最优二进制序列；将获得最优二进制序列的扫描方式作为最优扫描方式。

本发明具有如下有益效果：

在本发明中，获取初始优选程度能够根据第一采样序列的长度特征和数据波动特征选取合适的预设间隔步长，获取权重系数能够根据数据拼接处的数据差异特征对初始优选程度进行加权，从而选取最优间隔步长。根据最优间隔步长能对状态数据序列进行采样，能够减少最优采样序列中的差异性，使得差分序列中的数据更小更相似，初步提高压缩效率和存储空间的利用率。获取步长序列便于解码时确定不同数据点的位置，获取重组序列能够将状态数据序列进行重组，从而提高游程编码的压缩效率；获取差分序列能够大幅减少数据量，进一步提高压缩效率。构建二进制矩阵能够提高数据冗余度，进一步提高数据压缩效率；获取最优二进制序列能够根据数据的冗余程度选取压缩效率最高的二进制序列和扫描方式。最终根据二进制数据压缩包、步长序列和最优扫描方式对新能源场站的状态数据序列进行存储，提高了压缩效率和存储空间利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种用于新能源场站的数据混合存储管理方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于新能源场站的数据混合存储管理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种用于新能源场站的数据混合存储管理方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种用于新能源场站的数据混合存储管理方法流程图，该方法包括以下步骤：

步骤S1,获取监测新能源场站的状态数据序列；根据预设间隔步长对状态数据序列进行采样获得第一采样序列；根据第一采样序列的数据变化特征和长度特征获得初始优选程度；根据第一采样序列和状态数据序列的数据差异特征获得权重系数；根据权重系数和初始优选程度获得最优间隔步长。

在本发明实施例中，实施场景为对新能源场站的监测数据进行编码压缩存储，提高存储空间的利用率；首先获取监测新能源场站的状态数据序列，新能源场站的数据包括但不限于发电量、电压、电流、功率、温度、风速等数据特征，在本发明实施例中以功率为监测对象，获取功率的状态数据序列，需要说明的是，实施者可根据实施场景自行确定监测对象和数据采集频率，后续对不同监测对象的状态数据序列的处理方式相同。

对状态数据序列使用现有的游程编码进行压缩时，由于状态数据序列中的数据存在差异性和波动性，数据分布较为离散，导致压缩效果不佳，难以提高存储空间的利用率。通过差分方法获得差分序列，缩小原始数据的差异，对差分序列进行压缩存储，能够一定程度提高压缩效率；但传统差分的差分步长为1，差分后的数据值虽然显著减小，但无法解决数据分布较为离散的问题。因此对差分过程进行自适应改进，将状态数据序列进行重组，令重组后的状态数据序列的差分值的差异尽可能小，提高游程编码的压缩效果，提高存储空间的利用率。故首先根据预设间隔步长对状态数据序列进行采样获得第一采样序列，具体包括：预设间隔步长不超过状态数据序列的一半，在状态数据序列中从首个数据点开始按照预设间隔步长的间隔长度进行采样，获得采样数据点；将采样数据点按照顺序排序，获得第一采样序列。例如状态数据序列的长度为100，则预设间隔步长的取值范围为1至50，从而保证第一采样序列中至少存在两个数据点。若预设间隔步长为5，从状态数据序列中第一个数据点开始采样，间隔5个数据点继续采样第六个数据点，然后间隔5个数据点继续采样第十二个数据点，直至状态数据序列遍历结束，将采样数据点按照顺序排列，获取该预设间隔步长的第一采样序列；每个预设间隔步长对应一个第一采样序列。

进一步地，当第一采样序列中的数据越相似，且第一采样序列的长度越长，则对第一采样序列进行差分后，差分序列越长，其中的差分值越小越相似，最终压缩时的数据冗余程度越大，压缩效率越高，进而意味着该预设间隔步长的选取越合适。故根据第一采样序列的数据变化特征和长度特征获得初始优选程度；优选地，在本发明一个实施例中，获取初始优选程度包括：计算第一采样序列与状态数据序列的数据点数量比值，获得长度特征值；当长度特征值越大，意味着该第一采样序列越长。计算第一采样序列中数据点数值的方差并负相关映射，获得稳定特征值；当方差越小，稳定特征值越大，意味着该第一采样序列中的数据越相似。计算长度特征值与稳定特征值的乘积，获得预设间隔步长的初始优选程度；当初始优选程度越大，意味着该预设间隔步长获取的第一采样序列越长且数据越稳定，对应的差分序列压缩效率越高。

为了减少数据存储的数据量，需要对状态数据序列进行重组，获取状态数据序列中的第一采样序列后，需要继续在剩余数据中根据不同的预设间隔步长获取新的第一采样序列进行拼接。在两个第一采样序列拼接过程中，前一个第一采样序列的最后一位和后一个第一采样序列的第一位应尽可能的相似，从而避免差分序列中出现较大数值，影响压缩效率。故选取预设间隔步长时，需要尽量使得两个第一采样序列的拼接处的数据相似；根据第一采样序列和状态数据序列的数据差异特征获得权重系数。

优选地，在本发明一个实施例中，获取权重系数包括：计算第一采样序列中末位数据点与状态数据序列中第二位数据点的差值绝对值并负相关映射，获得预设间隔步长的权重系数；因需要拼接的后一个第一采样序列的第一位是状态数据序列中的第二位数据点，故当第一采样序列中末位数据点和状态数据序列中的第二位数据点的差值绝对值越小，则意味着该预设间隔步长的选取越合适，权重系数越大。

进一步地，可根据权重系数和初始优选程度获得最优间隔步长，优选地，在本发明一个实施例中，获取最优间隔步长包括：计算预设间隔步长的初始优选程度和权重系数的乘积，获得预设间隔步长的最终优选程度；将最终优选程度最大值对应的预设间隔步长作为最优间隔步长。当该预设间隔步长的初始优选程度和权重系数越大，该预设间隔步长的最终优选程度越大；该预设间隔步长越适合作为获取第一采样序列的间隔长度。

步骤S2，根据最优间隔步长对状态数据序列进行采样获得最优采样序列和第一剩余序列；继续获取第一剩余序列的最优间隔步长和最优采样序列，直至状态数据序列中所有数据点被采样；将最优间隔步长按照顺序进行排序获得步长序列；将最优采样序列按顺序进行拼接获取重组序列；将重组序列进行差分获得差分序列。

获取最优间隔步长后，可根据最优间隔步长对状态数据序列进行采样获得最优采样序列和第一剩余序列，具体包括：在状态数据序列中从首个数据点开始按照最优间隔步长的间隔长度进行采样，获得最优采样点；将最优采样点按照顺序排序，获得最优采样序列；将状态数据序列中非最优采样点的数据点按照顺序排序，获得第一剩余序列。最优采样序列的差分序列中的数据较小较相似，且最优采样序列的末位和第一剩余序列的第一位数据相似。

进一步地，获取状态数据序列的最优采样序列后，因需要对状态数据序列进行重组，使得重组序列的差分序列中的数据尽可能小和相似，故继续获取第一剩余序列的最优间隔步长和最优采样序列，直至状态数据序列中所有数据点被采样。第一剩余序列的最优间隔步长和最优采样序列的获取步骤与状态数据序列的最优间隔步长和最优采样序列获取步骤相同；首先获取第一剩余序列的不同预设间隔步长的初始优选程度和权重系数，进而获得最优间隔步长并对第一剩余序列进行采样获得最优采样序列和第二剩余序列；继续对第二剩余序列重复最优间隔步长和最优才有序列的获取步骤，直至状态数据序列中的所有数据点被采样。

当状态数据序列中每个数据点都完成采样时，依次获得了多个最优间隔步长与对应的最优采样序列，将最优间隔步长按照顺序进行排序获得步长序列，该步长序列在存储时用于确定拼接后的最优采样序列在状态数据序列中的位置。将最优采样序列按顺序进行拼接获取重组序列，获得的每个最优采样序列按照获取顺序进行拼接，获得重组序列；该重组序列相比于状态数据序列，数据差异性和波动性更小。将重组序列进行差分获得差分序列，该差分序列中的数值较小且相似，在对差分序列进行编码压缩时，能够大幅提高压缩效率；在存储时将重组序列的第一位数据放置步长序列中，便于对差分序列解码后得到状态数据序列。

步骤S3，根据差分序列的数据类型进行位图转换构建二进制矩阵；将二进制矩阵进行不同的扫描方式进行扫描获得不同的二进制序列；根据二进制序列的数据分布特征获得最优二进制序列和最优扫描方式。

虽然差分序列中的差分值远远小于状态数据序列中的数值，但差分序列中的差分值存在一定差异，若直接使用游程编码对差分序列进行编码压缩，提高的压缩效率不明显，并且转换成二进制的形式后，编码位数较长；为了进一步提高压缩效率，根据差分序列的数据类型进行位图转换构建二进制矩阵。

优选地，在本发明一个实施例中，构建二进制矩阵的步骤包括：对于差分序列中任意数据类型，在差分序列中出现该任意数据类型的数据点位置取值为常数1，其他数据点位置取值为常数0，构建与差分序列等长的二进制编码；例如差分序列长度200，则每个数据类型的二进制编码长度为200。每个差分序列中每个数据类型对应一个二进制编码，将每个数据类型的二进制编码纵向排列，获得二进制矩阵，完成位图转换，该二进制矩阵中二进制编码的数量为差分序列中的数据类型量。未进行位图编码转换前，差分序列的冗余程度小，难以进行有效压缩，存储时需要将差分值转换为二进制数据，此时占有的位数较长，通过位图转换后，变为0、1二值的存在，同时数据中0的占比较大，此时的冗余程度增大，使用游程编码后，能够得到更好的压缩效果。

获得二进制矩阵后，需要将二进制矩阵转成需要编码的二进制序列，由于矩阵中存在大量的0，若将相同的值置于一起，则能够大幅提高游程编码的压缩效率，故将二进制矩阵使用不同的扫描方式进行扫描获得不同的二进制序列，在本发明实施例中，扫描方式分别为：光栅扫描、Z字扫描、蛇形扫描、希伯尔特扫描等扫描方式，需要说明的是，该扫描方式属于现有技术，具体扫描步骤不再赘述，实施者可自行选取其他扫描方式。通过不同的扫描方式对二进制矩阵进行扫描后会获得不同的二进制序列，当二进制序列中的冗余程度越大，则该扫描方式越好，对二进制序列的压缩效率越高，由于二进制矩阵中常数1的个数为差分序列的长度数值，若常数1的分布越集中，则二进制对应的扫描方式的效果最好。故根据二进制序列的数据分布特征获得最优二进制序列和最优扫描方式。

优选地，在本发明一个实施例中，获取最优二进制序列和最优扫描方式包括：计算二进制序列中任意相连的常数1的数据长度，获得区间长度值，例如在二进制序列中任意一处有3个常数1相邻，则该处的区间长度值为3。计算所有的区间长度值的平均值，获得二进制序列的分布特征值；当分布特征值越大，意味着该二进制序列中常数1的分布越集中，冗余程度越大，压缩时的效率越高。将分布特征值最大值的二进制序列作为最优二进制序列；将获得最优二进制序列的扫描方式作为最优扫描方式。

步骤S4，使用游程编码算法对最优二进制序列进行压缩获得二进制数据压缩包；根据步长序列、最优扫描方式和二进制数据压缩包对新能源场站的状态数据序列进行存储。

获得最优二进制序列后，可使用游程编码算法对最优二进制序列进行压缩获得二进制数据压缩包，对最优二进制序列进行压缩能够大幅提高压缩效率，减少数据量，提高存储空间的利用率，需要说明的是，游程编码算法属于现有技术，具体步骤不再赘述。进一步地，根据步长序列、最优扫描方式和二进制数据压缩包对新能源场站的状态数据序列进行存储。至此，通过对状态数据序列进行重组并获取差分序列，对差分序列进行位图转换获取最优二进制序列，提高了压缩效果，减少数据量，最终提高存储空间的利用率。

综上所述，本发明实施例提供了一种用于新能源场站的数据混合存储管理方法；根据预设间隔步长对状态数据序列进行采样获得最优间隔步长；根据最优间隔步长对状态数据序列进行采样获得最优采样序列和第一剩余序列。获取第一剩余序列的最优间隔步长和最优采样序列，直至所有数据点被采样；将最优间隔步长排序获得步长序列；将最优采样序列拼接获取重组序列和差分序列；根据差分序列的数据类型构建二进制矩阵并扫描获得二进制序列；根据二进制序列的数据分布特征获得最优二进制序列和最优扫描方式。本发明使用游程编码获得最优二进制序列的二进制数据压缩包进行存储，提高了压缩效率和存储空间利用率。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (10)

1.一种用于新能源场站的数据混合存储管理方法，其特征在于，所述方法包括以下步骤：

获取监测新能源场站的状态数据序列；根据预设间隔步长对所述状态数据序列进行采样获得第一采样序列；根据第一采样序列的数据变化特征和长度特征获得初始优选程度；根据第一采样序列和状态数据序列的数据差异特征获得权重系数；根据所述权重系数和初始优选程度获得最优间隔步长；

根据所述最优间隔步长对所述状态数据序列进行采样获得最优采样序列和第一剩余序列；继续获取第一剩余序列的最优间隔步长和最优采样序列，直至状态数据序列中所有数据点被采样；将最优间隔步长按照顺序进行排序获得步长序列；将最优采样序列按顺序进行拼接获取重组序列；将所述重组序列进行差分获得差分序列；

根据所述差分序列的数据类型进行位图转换构建二进制矩阵；将所述二进制矩阵使用不同的扫描方式进行扫描获得不同的二进制序列；根据所述二进制序列的数据分布特征获得最优二进制序列和最优扫描方式；

使用游程编码算法对所述最优二进制序列进行压缩获得二进制数据压缩包；根据步长序列、最优扫描方式和二进制数据压缩包对新能源场站的状态数据序列进行存储。

2.根据权利要求1所述的一种用于新能源场站的数据混合存储管理方法，其特征在于，所述根据预设间隔步长对所述状态数据序列进行采样获得第一采样序列的步骤包括：

所述预设间隔步长不超过状态数据序列的一半，在所述状态数据序列中从首个数据点开始按照预设间隔步长的间隔长度进行采样，获得采样数据点；将采样数据点按照顺序排序，获得第一采样序列。

3.根据权利要求1所述的一种用于新能源场站的数据混合存储管理方法，其特征在于，所述根据第一采样序列的数据变化特征和长度特征获得初始优选程度的步骤包括：

计算所述第一采样序列与所述状态数据序列的数据点数量比值，获得长度特征值；计算所述第一采样序列中数据点数值的方差并负相关映射，获得稳定特征值；计算所述长度特征值与所述稳定特征值的乘积，获得预设间隔步长的初始优选程度。

4.根据权利要求1所述的一种用于新能源场站的数据混合存储管理方法，其特征在于，所述根据第一采样序列和状态数据序列的数据差异特征获得权重系数的步骤包括：

计算所述第一采样序列中末位数据点与所述状态数据序列中第二位数据点的差值绝对值并负相关映射，获得预设间隔步长的权重系数。

5.根据权利要求1所述的一种用于新能源场站的数据混合存储管理方法，其特征在于，所述根据所述权重系数和初始优选程度获得最优间隔步长的步骤包括：

计算预设间隔步长的所述初始优选程度和所述权重系数的乘积，获得预设间隔步长的最终优选程度；将最终优选程度最大值对应的预设间隔步长作为最优间隔步长。

6.根据权利要求1所述的一种用于新能源场站的数据混合存储管理方法，其特征在于，所述根据所述最优间隔步长对所述状态数据序列进行采样获得最优采样序列和第一剩余序列的步骤包括：

在所述状态数据序列中从首个数据点开始按照最优间隔步长的间隔长度进行采样，获得最优采样点；将最优采样点按照顺序排序，获得最优采样序列；将所述状态数据序列中非最优采样点的数据点按照顺序排序，获得第一剩余序列。

7.根据权利要求1所述的一种用于新能源场站的数据混合存储管理方法，其特征在于，所述将最优间隔步长按照顺序进行排序获得步长序列的步骤包括：

将获得的每个最优间隔步长按照获取顺序进行排序获得步长序列。

8.根据权利要求1所述的一种用于新能源场站的数据混合存储管理方法，其特征在于，所述将最优采样序列按顺序进行拼接获取重组序列的步骤包括：

将获得的每个最优采样序列按照获取顺序进行拼接，获得重组序列。

9.根据权利要求1所述的一种用于新能源场站的数据混合存储管理方法，其特征在于，所述根据所述差分序列的数据类型进行位图转换构建二进制矩阵的步骤包括：

对于所述差分序列中任意数据类型，在所述差分序列中出现所述任意数据类型的数据点位置取值为常数1，其他数据点位置取值为常数0，构建与差分序列等长的二进制编码；将每个数据类型的二进制编码纵向排列，获得所述二进制矩阵。

10.根据权利要求1所述的一种用于新能源场站的数据混合存储管理方法，其特征在于，所述根据所述二进制序列的数据分布特征获得最优二进制序列和最优扫描方式的步骤包括：

计算所述二进制序列中任意相连的常数1的数据长度，获得区间长度值，计算所述区间长度值的平均值，获得二进制序列的分布特征值；将所述分布特征值最大值的二进制序列作为最优二进制序列；将获得最优二进制序列的扫描方式作为最优扫描方式。