CN115882868A

CN115882868A - 一种气体监测数据智能存储方法

Info

Publication number: CN115882868A
Application number: CN202310168728.4A
Authority: CN
Inventors: 凌新凯; 孙启相; 张辉; 吴辉
Original assignee: SHENZHEN EXSAF ELECTRONICS CO Ltd
Current assignee: SHENZHEN EXSAF ELECTRONICS CO Ltd
Priority date: 2023-02-27
Filing date: 2023-02-27
Publication date: 2023-03-31
Anticipated expiration: 2043-02-27
Also published as: CN115882868B

Abstract

本发明涉及数据压缩存储技术领域，具体涉及一种气体监测数据智能存储方法，包括：采集气体监测数据，对气体监测数据进行分解，得到多个待测序列，获取待测序列中的序列锚点，根据序列锚点获取待测序列中序列锚点之后的每个数据点的选取评价指标，根据选取评价指标获取结束点，进一步得到近似序列段；获取每个近似序列段的损失容许，根据损失容许得到变化位置段；构建变化位置段的方向向量、趋势向量、第一向量和第二向量，进一步得到变化位置段的噪声可能性；根据噪声可能性获取噪声以及无损序列段；将噪声重构为近似序列段；对近似序列段进行压缩，得到压缩数据；对压缩数据以及无损序列段进行存储。本发明压缩率高，损失程度低。

Description

一种气体监测数据智能存储方法

技术领域

本发明涉及数据压缩存储技术领域，具体涉及一种气体监测数据智能存储方法。

背景技术

气体监测场景中，由于采集设备高频次、高精度的监测数据，从而数据间存在较大数据冗余，而经过STL算法分解成有周期规律的数据后进行游程压缩，相比直接进行游程压缩，能够极其显著的提升压缩率。

在实际应用中，源数据相近的情况下二进制位的差异会降低压缩效果，需要通过STL算法分解后判断出数据中的奇异位置，而采集误差会影响数据中奇异位的判断准确性，因此需要对STL算法进行改进。

STL分解分量后仅进行多次平滑提升压缩率，会造成数据特征被大幅度模糊，需要通过数据相似性与分量时序的周期性，获取源数据的分段平滑结果，并联系不同分量的趋势关系将数据中奇异位置进行去噪，在保持特征损失小时尽量提升数据的压缩率。

发明内容

本发明提供一种气体监测数据智能存储方法，以解决现有的问题。

本发明的一种气体监测数据智能存储方法采用如下技术方案：

本发明一个实施例提供了一种气体监测数据智能存储方法，该方法包括以下步骤：

采集气体监测数据，对气体监测数据进行分解得到趋势项，季节项，残差项；根据季节项将气体监测数据划分为多个待测序列；

将待测序列中第一个数据点作为序列锚点，根据序列锚点进行近似序列获取操作，包括：

根据序列锚点、残差项以及待测序列获取待测序列中序列锚点之后的每个数据点的选取评价指标；根据选取评价指标获取结束点，将序列锚点到结束点之间的所有数据点构成的序列作为近似序列段；将结束点的下一个数据点作为新的序列锚点；

重复根据新的序列锚点进行近似序列获取操作，直到不存在新的序列锚点时停止迭代；

根据每个近似序列段相邻的近似序列段获取每个近似序列段的损失容许，将损失容许大于等于第二预设阈值的近似序列段作为变化位置段；根据变化位置段的序列锚点以及结束点构建变化位置段的方向向量；根据序列锚点的趋势项以及结束点的趋势项构建变化位置段的趋势向量；根据变化位置段相邻的相似序列段获取第一向量和第二向量，根据方向向量、趋势向量、第一向量和第二向量获取变化位置段的噪声可能性；当变化位置段的噪声可能性大于等于第三预设阈值时，将变化位置段标记为噪声；当变化位置段的噪声可能性小于第三预设阈值时，将变化位置段作为无损序列段；将标记为噪声的变化位置段重构为近似序列段；

对近似序列段进行压缩，得到压缩数据；对压缩数据以及无损序列段进行存储。

优选的，所述根据序列锚点、残差项以及待测序列获取待测序列中序列锚点之后的每个数据点的选取评价指标，包括的具体步骤如下：

其中

为序列锚点之后的第i个数据点的选取评价指标；/>

为序列锚点的值；/>

为序列锚点之后的第i个数据点的值；/>

为现有的比特位获取函数；/>

为序列锚点之后的第i个数据点的值对应的二进制数；/>

为序列锚点的值对应的二进制数；/>

表示第/>

个比特位；/>

为序列锚点之后的第i个数据点对应的残差项；/>

为同或运算符号；/>

是以自然常数为底的指数函数；/>

为绝对值符号。

优选的，所述根据选取评价指标获取结束点，包括的具体步骤如下：

依次对序列锚点之后的所有数据点的选取评价指标进行归一化，当首次出现某个数据点归一化后的选取评价指标小于第一预设阈值时，将该数据点的前一个数据点作为结束点。

优选的，所述根据每个近似序列段相邻的近似序列段获取每个近似序列段的损失容许，包括的具体步骤如下：

将近似序列段

前后相邻的近似序列段分别记为/>

，根据近似序列段/>

获取近似序列段/>

的损失容许/>

：

其中

为近似序列段/>

的损失容许；/>

为近似序列段/>

的序列锚点的值；/>

为近似序列段/>

的序列锚点的值；/>

为近似序列段/>

的序列锚点的值；/>

为近似序列段/>

的长度；/>

为绝对值符号；/>

为双曲正切函数。

优选的，所述根据方向向量、趋势向量、第一向量和第二向量获取变化位置段的噪声可能性，包括的具体步骤如下：

其中

为变化位置段的噪声可能性；/>

为变化位置段的方向向量；/>

为变化位置段的趋势向量；/>

为变化位置段的第一向量；/>

为变化位置段的第二向量；/>

为变化位置段的方向向量和趋势向量的余弦相似度；/>

为第一向量和第二向量的余弦相似度；/>

为以自然常数为底的指数函数，/>

为双曲正切函数。

优选的，所述将标记为噪声的变化位置段重构为近似序列段，包括的具体步骤如下：

获取标记为噪声的变化位置段之前相邻的相似序列段的结束点的值，作为第一数据，获取标记为噪声的变化位置段之后相邻的相似序列段的序列锚点的值，作为第二数据；利用第一数据与第二数据的均值替换标记为噪声的变化位置段中的每个数据，将替换后的变化位置段重新作为近似序列段。

优选的，所述对近似序列段进行压缩，得到压缩数据，包括的具体步骤如下：

将所有近似序列段的特征值降序排列，得到特征值序列，对特征值序列进行差值游程压缩，得到第一压缩数据；将特征值序列对应的近似序列段的长度、序号分别构成长度序列以及序号序列；将第一压缩数据、长度序列以及序号序列作为最终的压缩数据。

本发明的技术方案的有益效果是：本发明通过计算序列锚点与序列锚点之后每个数据点的二进制数的差异以及数值的差异，并结合残差项进行修正，进而获得序列锚点之后每个数据点的选取评价指标，根据选取评价指标将源数据序列拆分成多个近似序列段，每个近似序列段包含的数据较为相似。使得后续根据近似序列段进行压缩的效果更好；本发明根据STL算法获得的分量特征对源数据序列进行处理，剔除了数据噪声的同时，将源数据序列分割为多个近似序列段和无损序列段，对近似序列段的特征值进行差值游程压缩，对无损序列段进行无损保存，使得源数据序列中大部分数据能够达到较高的压缩效率的同时重要的变化趋势得以保留，提升了气体监测数据的压缩率同时损失程度低。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种气体监测数据智能存储方法的步骤流程图；

图2为气体浓度数据曲线；

图3为气体浓度数据曲线放大示意图；

图4为STL算法分解示意图；

图5为待测序列的示意图；

图6为数据覆盖的示意图；

图7为同或运算的示意图；

图8为近似序列段获取示意图；

图9为损失容许获取示意图；

图10为待测序列和待测序列对应的趋势序列示意图；

图11为方向向量和趋势向量的示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种气体监测数据智能存储方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种气体监测数据智能存储方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种气体监测数据智能存储方法的步骤流程图，该方法包括以下步骤：

S001．采集气体监测数据，对气体监测数据进分解。

气体监测数据为某气体在时间序列上的浓度值，气体浓度数据如图2所示。将气体监测数据称为源数据序列。

需要说明的是，气体浓度增加依赖分子不断做布朗运动，在传感器的秒级频率下不会出现明显变化，所以采集数据之中存在大量冗余，例如将图2中某一段曲线放大后如图3所示。气体检测数据由于存在数值波动，直接使用游程压缩存储效率极低，需要通过STL算法进行分解，分解后可体现出气体监测数据存在的连续性波动，根据不同的波动特征进行分段数据平滑，可提升压缩率的同时保存数据波动特征。STL算法将时序数据分解为：趋势项T，季节项S，残差项R，如图4所示，其中季节项S代表源数据出现的周期性波动。

在本发明实施例中，利用STL算法将源数据序列分解为趋势序列，季节序列，残差序列。趋势序列中为源数据序列中所有数据对应的趋势项构成，季节序列为源数据序列中所有数据对应的季节项构成，残差序列为为源数据序列中所有数据对应的残差项构成。通过现有波峰-波谷检测算法检测季节项中的周期波段，将每个周期波段对应的源数据序列作为一个待测序列。图5为两个待测序列的示意图。

至此，获得了多个待测序列。

S002．对待测序列进行拆解，得到近似序列段。

需要说明的是，残差项R反映了源数据与趋势项T存在的偏离特征，若利用该偏移特征将待测序列拆解为多段特征较近似的序列，利用每个序列中数据相似性进行数据覆盖，数据覆盖的示意图参见图6。可实现在不同序列之间保留下数据差异的同时，在序列内部进一步提升数据冗余，最终达到更好的压缩效果。

在本发明实施例中，首先将待测序列中第一个数据点作为序列锚点，依次计算待测序列中序列锚点之后的每个数据点的选取评价指标，如序列锚点之后的第i个数据点的选取评价指标

为：

其中

为序列锚点之后的第i个数据点的选取评价指标；/>

为序列锚点的值；/>

为序列锚点之后的第i个数据点的值；/>

为现有的比特位获取函数；/>

为序列锚点之后的第i个数据点的值对应的二进制数；/>

为序列锚点的值对应的二进制数；/>

表示第/>

个比特位；/>

为序列锚点之后的第i个数据点对应的残差项；/>

为同或运算符号；/>

是以自然常数为底的指数函数；/>

为绝对值符号；/>

表示获取序列锚点之后的第i个数据点的值对应的二进制数的第/>

个比特位；/>

表示序列锚点的值对应的二进制数的第/>

个比特位；

表示序列锚点的值对应的二进制数与序列锚点之后的第i个数据点的值对应的二进制数进行同或运算，当此两个二进制数的第/>

个比特位相同时输出为1，相异时输出为0，同或运算的示意图参见图7，在压缩过程中二进制数的差异位会破坏大量相同位带来的数据冗余，影响压缩效果，通过同或运算对二进制数比特位的相似程度进行判断，可剔除数据相近但二进制数的相同位较少的情况，便于后续压缩；

为序列锚点的值和序列锚点之后的第i个数据点的值之间的差异乘以序列锚点之后的第i个数据点的残差项，并进行正相关映射；若序列锚点的值和序列锚点之后的第i个数据点的值之间的差异较小，后续根据序列锚点和序列锚点之后的第i个数据点划分的近似段中数据更加相似，为后续进行近似段中的数据覆盖消除二进制差异位提供依据；结合序列锚点之后的第i个数据点的残差项对序列锚点以及序列锚点之后第i个数据点的值之间的差异进行修正，避免因为数据采集误差大影响近似数据的纯净程度。

至此，获取了序列锚点之后的每个数据点的选取评价指标，利用双曲正切函数

依次对序列锚点之后的所有数据点的选取评价指标进行归一化，当首次出现某个数据点归一化后的选取评价指标小于第一预设阈值/>

时，将该数据点的前一个数据点作为结束点，将序列锚点到结束点之间的所有数据点（包括序列锚点、结束点）构成的序列作为近似序列段。若序列锚点之后的所有数据点的归一化后的选取评价指标均大于或等于第一预设阈值/>

，则将最后一个数据点作为结束点。需要说明的是，/>

的结果大于0，双曲正切函数

对于大于0的值，会将其映射到(0,1)的范围内，因此，采用双曲正切函数/>

可以达到归一化的效果。在本发明实施例中，第一预设阈值/>

，在其他实施例中，实施人员可根据需要设置第一预设阈值。近似序列段获取示意图参见图8。

需要说明的是，由于待测序列中局部数据的相似性高，若仅比较相邻的数据点来筛选近似序列段，可能出现进行近似序列段每个局部位置的数据的相似性较大，而整体的相似程度较低的情况。本发明实施例通过比较序列锚点之后的每个数据点与序列锚点的相似程度，来获取序列锚点之后的每个数据点的选取评价指标，进一步获得近似序列段，使得近似序列段中所有数据的相似程度较大。

在本发明实施例中，将源数据序列中，结束点之后的第一个数据点作为新的序列锚点，依次计算待测序列中序列锚点之后的每个数据点的选取评价指标，根据选取评价指标获取新的结束点以及新的近似序列段。重复该操作，直到不存在新的序列锚点时停止迭代。

至此，将源数据序列划分为了多个近似序列段。

需要说明的是，由于气体监测数据采集的频次高，使得源数据序列中局部时间段内的气体浓度相近，因此本发明实施例通过计算序列锚点与序列锚点之后每个数据点的二进制数的差异以及数值的差异，并结合残差项进行修正，进而获得序列锚点之后每个数据点的选取评价指标，根据选取评价指标将源数据序列拆分成多个近似序列段，每个近似序列段包含的数据较为相似。使得后续根据近似序列段进行压缩的效果更好。

S003．获取近似序列段的损失容许，根据趋势项获取无损序列段。

需要说明的是，后续对近似序列段进行数据覆盖会造成近似序列段不同程度的损失，为了使得损失程度最低，需要获取每个数据段的损失容许，筛选出重要特征位置的近似序列段作为无损序列段，在后续对近似序列段进行数据覆盖时不对无损序列段进行数据覆盖，确保重要特征位置的数据无损。同时在高频次的采集环境下，采集得到的数据的误差噪声远大于数据波动的影响，因此需要结合待测序列对应的趋势序列对无损序列段去噪，确保最终得到的无损序列段的准确性。

在本发明实施例中，获取每个近似序列段的损失容许的方法如下：

需要说明的是，在每个近似序列段中所有数据点均与该近似序列段的序列锚点相似。因此可根据不同近似序列段的序列锚点之间的相似性计算近似序列段的损失容许，从而筛选出变换位置段。

将所有近似序列段中任意三个相邻的近似序列段作为一个组，根据每个组中三个近似序列段

对应的三个序列锚点/>

计算该组中第二个近似序列段/>

的损失容许

：

其中

为近似序列段/>

的损失容许；/>

为近似序列段/>

的序列锚点的值；/>

为近似序列段/>

的序列锚点的值；/>

为近似序列段/>

的序列锚点的值；/>

为近似序列段/>

的长度，即近似序列段/>

中包含的数据点的个数；/>

为绝对值符号；/>

为双曲正切函数；

为近似序列段/>

与其前后两个近似序列段/>

的序列锚点的值之间的差异，当该差异越大，且近似序列段/>

的长度越段时，近似序列段/>

对于衔接前后近似序列段

的数据变化趋势贡献较大，此时近似序列段/>

的损失容许应该越严格。损失容许获取示意图参见图9。

同理，获取每个组中第二个近似序列段的损失容许，即获取所有近似序列段的损失容许。需要说明的是，所有近似序列段中第一个近似序列段之前不存在其他近似序列段，此时则用

作为该近似序列段的损失容许。同理，所有近似序列段中最后一个近似序列段之后不存在其他近似序列段，此时则用/>

作为该近似序列段的损失容许。

将损失容许大于等于第二预设阈值

的近似序列段作为变化位置段。在本发明实施例中，第二预设阈值/>

，在其他实施例中，实施人员可根据需要设置第二预设阈值。/>

需要说明的是，变化位置段为源数据序列中存在较大变化趋势的关键段，但在数据高频率的采集过程中，可能存在误差影响，形成噪声数据。因此需要综合变化位置段与其对应的趋势项的关系，判断变化位置段中数据的偏离方向，从而剔除噪声数据，确保最终得到的无损序列段的准确性。趋势项为源数据所有变化的累积，代表序列数值变化方向，相似序列段间的变化趋势不会因为单一误差值产生较大的方向偏移，且由数据判断趋势的回归过程中已经对极端误差值进行了排除。若变化位置段的数值延伸方向与对应的趋势序列中数值延伸方向越一致，且变化位置段相对与前后相似序列段的偏离越小，当前变化位置段为真实数据特征的可能性越大，反之为噪声的可能性越大。

在本发明实施例中，以待测序列起始点作为原点，水平方向为X轴，竖直方向为Y轴，建立坐标系，待测序列以及待测序列对应的趋势序列在坐标系中对应的曲线如图10所示。在坐标系中，以X、Y轴正方向作为增大方向，以变化位置段的序列锚点指向结束点，构建变化位置段的方向向量

。获取变化位置段的序列锚点对应的趋势项以及结束点对应的趋势项，以序列锚点的趋势项指向结束点的趋势项，构建变化位置段的趋势向量/>

。方向向量和趋势向量的示意图如图11所示。

同理，获取变化位置段前后相邻的两个相似序列段的方向向量，作为第一向量和第二向量，并分别用

和/>

表示。需要说明的是，当变化位置段之前不存在相邻的相似序列段时，即变化位置段为源数据序列中第一个相似序列段时，不获取该变化位置段的第一向量和第二向量，后续也不计算该变化位置段的噪声可能性，直接将该变化位置段作为无损序列段，后续进行无损压缩，以便保留源数据序列的起始数据作为一定参考。而由于气体监测数据是不间断采集的，后续还有数据不断采集到，因此每个变化位置段之后一定存在相邻的相似序列段。

获取变化位置段的方向向量

与趋势向量/>

的余弦相似度/>

，获取第一向量和第二向量之间的余弦相似度/>

。根据/>

以及/>

获取变化位置段的噪声可能性/>

：

其中

为变化位置段的噪声可能性；/>

为变化位置段的方向向量；/>

为变化位置段的趋势向量；/>

为变化位置段的第一向量；/>

为变化位置段的第二向量；/>

为变化位置段的方向向量和趋势向量的余弦相似度；/>

为第一向量和第二向量的余弦相似度；当余弦相似度/>

越低，则该变化位置段中数值的变化方向与对应趋势序列中数值的变化方向差异越大，此时该变化位置段越可能为噪声，反之当余弦相似度/>

越高，该变化位置段越可能为真实数据；当第一向量和第二向量的余弦相似度越高/>

，说明变化位置段前后相邻的两个相似序列段的变化趋势越相似，此时变化位置段起到衔接前后相邻的两个相似序列段之间数据变化的价值越低，该变化位置段越可能为噪声；/>

为以自然常数为底的指数函数，/>

为双曲正切函数，为避免变化位置段的方向向量和趋势向量的夹角大于/>

造成/>

为负数，利用/>

函数对/>

进行正数修正，使得

的值恒大于0，再利用/>

进行归一化，使得分母的取值恒大于0；由于在气体监测数据采集时为高频次采集，气体浓度短时间内变化较小，因此变化位置段前后相邻的两个相似序列段的变化趋势不会差异非常大，第一向量和第二向量的夹角通常在/>

之内，因此第一向量和第二向量的余弦相似度/>

大于0，因此不使用/>

以及 tanh( )对/>

进行正数修正以及归一化操作。

当变化位置段的噪声可能性大于等于第三预设阈值

时，将变化位置段标记为噪声；当变化位置段的噪声可能性小于第三预设阈值/>

时，将变化位置段作为无损序列段。在本发明实施例中，第三预设阈值/>

，在其他实施例中，实施人员可根据需要设置第三预设阈值。

获取标记为噪声的变化位置段之前相邻的相似序列段的结束点的值，作为第一数据，获取该变化位置段之后相邻的相似序列段的序列锚点的值，作为第二数据。利用第一数据与第二数据的均值替换该标记为噪声的变化位置段中的每个数据，将替换后的变化位置段重新作为近似序列段。

至此，获取了无损序列段。

S004．对待测序列进行压缩。

需要说明的是，通过步骤S002以及S003，源数据序列中的待测序列被划分为了多个近似序列段以及无损序列段。近似序列段中数据的冗余程度较大，可利用近似序列段中的特征值对近似序列段进行数据覆盖，利用特征值来表示近似序列段中的数据，进一步增大近似序列段中的数据冗余，提升压缩效果。而无损序列段源数据序列中存在较大变化趋势的关键段，较为重要，需要无损存储。

在本发明实施例中，按照所有近似序列段以及无损序列段在源数据序列中出现的顺序，对所有近似序列段以及无损序列段进行编号，获得每个近似序列段以及无损序列段的序号。将近似序列段中所有数据的均值作为该近似序列段的特征值。

将所有近似序列段的特征值降序排列，得到特征值序列，对特征值序列进行差值游程压缩，即先计算特征值序列中相邻特征值的差值，构建差值序列，再对差值序列进行游程压缩。将差值游程压缩的压缩结果作为第一压缩数据。

将特征值序列对应的近似序列段的长度、序号分别构成长度序列以及序号序列。将第一压缩数据、长度序列以及序号序列作为最终的压缩数据。

对于无损序列段，不进行压缩，保存无损序列段完整的数据以及无损序列段的序号。

至此，对待测序列完成了压缩。需要说明的是，本发明实施例根据STL算法获得的分量特征对源数据序列进行处理，剔除了数据噪声的同时，将源数据序列分割为多个近似序列段和无损序列段，对近似序列段的特征值进行差值游程压缩，对无损序列段进行无损保存，使得源数据序列中大部分数据能够达到较高的压缩效率的同时重要的变化趋势得以保留。

S005．对压缩数据进行解压。

当需要读取气体监测数据时，需要先进行解压：

首先将压缩数据中的第一压缩数据利用差值游程压缩的方法解压，得到特征值序列。根据长度序列中的长度，将特征值序列中每个特征值重复多次构建成对应长度的序列，该序列即为近似序列段。将所有的近似序列段以及无损序列段按照序号序列中的序号以及无损序列段的序号重新排列，得到待测序列。所有的待测序列构成源数据序列，即气体监测数据。

至此，完成了压缩数据的解压，获取了气体监测数据。

通过以上步骤，完成了气体监测数据的压缩存储与解压。

本发明实施例通过计算序列锚点与序列锚点之后每个数据点的二进制数的差异以及数值的差异，并结合残差项进行修正，进而获得序列锚点之后每个数据点的选取评价指标，根据选取评价指标将源数据序列拆分成多个近似序列段，每个近似序列段包含的数据较为相似。使得后续根据近似序列段进行压缩的效果更好；本发明实施例根据STL算法获得的分量特征对源数据序列进行处理，剔除了数据噪声的同时，将源数据序列分割为多个近似序列段和无损序列段，对近似序列段的特征值进行差值游程压缩，对无损序列段进行无损保存，使得源数据序列中大部分数据能够达到较高的压缩效率的同时重要的变化趋势得以保留，提升了气体监测数据的压缩率同时损失程度低。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。