CN111597225B - 一种基于分段瞬态识别的自适应数据缩减方法 - Google Patents

Abstract

本发明公开了一种基于分段瞬态识别的自适应数据缩减方法，包括以下步骤：A：根据总的数据长度和缩减后目标长度，确定分段个数及每段缩减后的数据长度；B：建立分段法和瞬态法的比例系数；C：根据比例系数，对每段信号采用分段法，得到筛选后的数据及对应时间戳；D：根据比例系数，对每段信号采用瞬态法，得到筛选后的数据及对应时间戳，与步骤C之间不分先后；E：将每段信号分段法和瞬态法得到的数据进行整合，得到缩减后的数据。本发明采用分段法提取信号中的趋势信息，采用瞬态法提取信号中的突变信息，两种方式根据比例系数配合，实现保留信号内整体趋势的和关键突变信号的信息基础上，缩短数据长度。

Description

一种基于分段瞬态识别的自适应数据缩减方法

技术领域

本发明涉及信号与信息处理技术，特别涉及一种基于分段瞬态识别的自适应数据缩减方法。

背景技术

随着计算机技术的飞速发展，全球数据量呈指数式增长，各个领域中都积累了大量的数据，这对数据展示和数据存储带来一定的挑战。工业领域常以秒级为单位对工况数据进行存储，以流量数据为例，每秒采集一个数据点，五年的数据总点数为1.58亿。若需要拉取历史数据，耗时过长，影响使用体验。若设备持续处于稳定工况，数据样本呈平稳分布，数据中包含了大量的冗余数据及无用数据。因此，对数据进行降采样处理，在数据中发掘出蕴含的关键信息，进而有效地缩减数据的规模显得日益重要。

当前常采用的数据缩减方法为等间隔降采样法，该方法为采用固定间隔抽取数据，此种方法在随机地去掉一部分数据时，一些潜在的有用数据也同时被去掉了，这样会导致数据样本的重要信息丢失。论文《基于峰值保持降采样算法的中介轴承故障声发射数据缩减技术》中，提出一种峰值保持降采样和谱峭度算法相结合的数据缩减技术，此种方法是对高采样的原始信号以固定的降采样比对信号进行分段，将每段的峰值作为重采样值。此种方法可保留数据中的关键信息，但针对阶跃信号，无法获取阶跃信号的持续时间。因此，需要选择一种降采样方法，不仅可保留数据中的趋势信息，而且还可以保留关键数据的持续时间，这对实现数据缩减具有重要意义。

发明内容

针对现有技术中的降采样方法不能在保留趋势信息的同时保留关键数据的持续时间的问题，本发明提出了一种基于分段瞬态识别的自适应数据缩减方法，可提取大数据样本中的关键信息，选择具有代表意义的信息点进行保存，保留信号内整体趋势的和关键突变信号的信息基础上，缩短数据长度，最终实现数据降采样，降低数据存储量。

以下是本发明的技术方案。

一种基于分段瞬态识别的自适应数据缩减方法，包括以下步骤：

A：根据总的数据长度N₁和缩减后目标长度N₂，确定分段个数S₁及每段缩减后的数据长度T，每段缩减后的数据长度设缩减前每段数据长度为L，/>降采样比例为Sr，则/>

B：建立分段法和瞬态法的比例系数；

C：根据比例系数，对每段信号采用分段法，得到筛选后的数据及对应时间戳；

D：根据比例系数，对每段信号采用瞬态法，得到筛选后的数据及对应时间戳，与步骤C之间不分先后；

E：将每段信号分段法和瞬态法得到的数据进行整合，得到缩减后的数据。

本发明采用分段法提取信号中的趋势信息，采用瞬态法提取信号中的突变信息，两种方式根据比例系数配合，实现保留信号内整体趋势的和关键突变信号的信息基础上，缩短数据长度。

作为优选，步骤B中，分段法和瞬态法的比例系数，分别为α₁和α₂,且满足α₁+α₂＝1；若α₁为1，表示采用分段法实现数据降采样，若α₁为0，表示采用瞬态法实现数据降采样。

作为优选，步骤C包括：C1:将数据切分为m₁段，每段数据长度L2＝L/m₁，每段降采样后的数据长度T₂＝T/m1；C2:计算每段数据的最小值min_j和最大值max_j，并记录最大值和最小值对应的时间戳；C3:根据min_j和max_j，将数据切分为m₂个区间，并统计每个区间内的数据量，记为[num_1j,num_2j,…,num_m2j]；C4：计算r＝T2/m2，如果num_ij≤r，保留该区间内的所有数据；如果num_ij＞r，则该区间内等间隔保留T2/m2个数据。C5：将各区间内筛选的数据及每个区间的最大值和最小值整合，得到分段法筛选后的数据。通过分段法，可提取出信号趋势特征参数，尽可能保留数据中小概率出现的样本，数据中大概率出现的样本进行分段等间隔保留。

作为优选，步骤D包括：D1：对数据D进行微分处理，得到数据各点的变化率D'；D2：设降采样后的目标数量为T，统计D'正数中前T/4个最大值及对应位置Value1、Pos1，统计负数中前T/4个最小值Value2、Pos2；D3：计算相邻向上突变值与向下突变值间的最大值或最小值，记为Value3；D4：记录数据的起始点Value4和截止点Value5；D5：将Value1、Value2、Value3、Value4和Value5及对应时间戳进行整合，得到瞬态法筛选后的数据。通过瞬态法，根据数据变化斜率，提取数据中突变点及突变点变化之后的值，记录突变维持时间，避免分段法中由于大概率样本等间隔采样，部分重要信息淹没，影响降采样效果。

作为优选，分段法和瞬态法的比例系数α₁和α₂的默认值均为0.5，且在每段数据进行降采样之前，统计出该段数据的每个相邻的极大值与极小值之间的时间间隔集合Ti，并预设一个阈值，当集合Ti内大于阈值的元素更多时，降低α₂的值，反之则提高α₂的值。比例系数决定了分段法和瞬态法的占比，根据这两种方法的特点，需要尽可能在数据波动较大时提高瞬态法的占比，因此引入一种调整比例系数的方式，其中极大值与极小值之间代表了一次数据的波动，波动的时间差与幅度往往代表了数据的波动是否剧烈，由于不同数据类型的数值差别较大导致代表性不强，因此采用时间间隔为参考，统计方便且运算资源占用少，能够优化比例系数的分配，提高整体降采样的质量。其中由于不同数据之间差异较大，因此比例系数的实际取值需要在符合该方法的前提下根据实际情况调整最终值。

作为优选，所述阈值与每段数据内的最大值与最小值的差值呈正相关。一段数据中的极大值和极小值中，包括了最大值和最小值，通常最大值和最小值代表了该段数据趋势中的极端情况，当差值较大时，可以提高阈值，使得大于阈值的元素减少，进而提高比例系数中α₂的值，以增加瞬态法的占比，使降采样结果更符合该段数据的特征。

本发明的实质性效果包括：采用分段法进行数据缩减，根据各区间内数据数量及数据缩减目标数据长度对应关系，对数据内信号进行等比例缩减并提取各区间内的最大值和最小值，可在保留关键信息基础上，自适应地实现数据缩减。采用瞬态法提取数据内的前k个最大突变值信息，筛选出数据中的关键突变信息，并整理突变间信号的最大值和最小值，可有效提取出数据中突变信号持续时间。本发明结合分段法和瞬态法，可以结合两种方法的优势，一方面实现自适应大比例缩减大样本数据，小比例缩减小样本数据；另一方面，可以提取出数据中的突变信号。根据数据类型及数据变化特性，可配置分段法和瞬态法的比例系数，调整两种方法的权重，具有一定的稳定性。

附图说明

图1是本发明实施例中筛选的突变值表；

图2是本发明实施例的瞬态法筛选数据值图；

图3是本发明实施例的瞬态法处理前后结果对比图；

图4是本发明实施例与现有技术处理结果对比全局图；

图5是本发明实施例与现有技术处理结果对比局部图。

具体实施方式

下面将结合实施例，对本申请的技术方案进行描述。另外，为了更好的说明本发明，在下文中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未做详细描述，以便于凸显本发明的主旨。

实施例：

一种基于分段瞬态识别的自适应数据缩减方法，以某台电机的转速信息为例，转速数据的采样频次为1Hz。

包括步骤：

A)转速数据长度N₁为3900000，缩减后目标长度N₂为30000。将数据分段S为150段，i表示第i段数据，1≤i≤50。每段数据长度L为78000，每段数据缩减后的长度T为600。

B)建立分段法和瞬态法的比例系数α₁和α₂。以效率最高的方向取值，α₁设置为0.5，α₂设置为0.5，即分段法和瞬态法缩减后的数据长度均为300。

C)对每段信号采用分段法，每段数据长度L2为78000，缩减后数据长度为300，降采样比例为260；

C1:将数据切分为5个子段，每个子段的数据长度T2为15600，j表示第j段数据，每个子段数据缩减后的数据长度T2为60。

C2:以i为8，j为3的子段数据为例，计算数据的最小值min_j和最大值max_j，并记录最大值和最小值对应的时间戳。该子段内的最小值为1789，最大值为2236。

C3:根据1789和2236，将数据切分为5个区间，5个区间的范围分别为[1789，1878.4]、(1878.4,1967.8]、(1967.8,2057.2]、(2057.2,2146.6]和(2146.6,2236]。统计每个区间内的数据量，分别为13007，978，931，252和432。

C4：计算r＝T2/m2，得到r为12。五个区间内数据均高于12，因此对每个区间内的数据进行等间隔采样，分别抽取12个点。

C5：将各区间内筛选的数据及每个区间的最大值和最小值整合，得到分段法筛选后的数据。

进一步地，步骤D)中，对信号采用瞬态法，包括：

D1：选择部分速度数据D介绍，数据长度为2000，目标数据长度为50。对数据D进行微分处理，得到数据各点的变化率D'；

D2：统计D'正数中前12个最大值及对应位置Value1、Pos1，统计负数中前15个最小值及对应位置Value2、Pos2，图1为筛选的前12个突变值信息。

D3：计算相邻向上突变值与向下突变值间的最大值或最小值，记为Value3。

D4：记录数据的起始点Value4和截止点Value5。

D5：图2中为瞬态法计算得到的Value1至Value5数据结果，将Value1、Value2、Value3、Value4和Value5及对应时间戳进行整合，得到瞬态法筛选后的数据。图3对比了原始数据与筛选后数据结果，通过瞬态法保留了数据中所有关键信息点。

E)将每段信号分段法和瞬态法得到的数据进行整合，得到缩减后的数据。图4为现有技术(等间隔缩减法)与本实施例对比结果全局图，图5为对比结果局部图。等间隔缩减法容易遗失信号中的部分关键信息；本实施例提出的方法可有效保留信号中的关键信息，具有优益效果。

在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种基于分段瞬态识别的自适应数据缩减方法，其特征在于，包括以下步骤：

A：根据总的数据长度N₁和缩减后目标长度N₂，确定分段个数S₁及每段缩减后的数据长度T，每段缩减后的数据长度设缩减前每段数据长度为L，/>降采样比例为Sr，则

B：建立分段法和瞬态法的比例系数；

C：根据比例系数，对每段信号采用分段法，得到筛选后的数据及对应时间戳；

D：根据比例系数，对每段信号采用瞬态法，得到筛选后的数据及对应时间戳，与步骤C之间不分先后；

E：将每段信号分段法和瞬态法得到的数据进行整合，得到缩减后的数据；

步骤D包括：

D1：对数据D进行微分处理，得到数据各点的变化率D'；

D2：设每段缩减后的数据长度为T，统计D'正数中前T/4个最大值及对应位置Value1、Pos1，统计负数中前T/4个最小值及对应位置Value2、Pos2；

D3：计算相邻向上突变值与向下突变值间的最大值或最小值，记为Value3；

D4：记录数据的起始点Value4和截止点Value5；

D5：将Value1、Value2、Value3、Value4和Value5及对应时间戳进行整合，得到瞬态法筛选后的数据；

分段法和瞬态法的比例系数α₁和α₂的默认值均为0.5，且在每段数据进行降采样之前，统计出该段数据的每个相邻的极大值与极小值之间的时间间隔集合Ti，并预设一个阈值，当集合Ti

内大于阈值的元素更多时，降低α₂的值，反之则提高α₂的值。

2.根据权利要求1所述的一种基于分段瞬态识别的自适应数据缩减方法，其特征在于，步骤B中，分段法和瞬态法的比例系数，分别为α₁和α₂,且满足α₁+α₂＝1；若α₁为1，表示采用分段法实现数据降采样，若α₁为0，表示采用瞬态法实现数据降采样。

3.根据权利要求1所述的一种基于分段瞬态识别的自适应数据缩减方法，其特征在于，步骤C包括：

C1:将数据切分为m₁段，每段数据长度每段降采样后的数据长度/>

C2：计算每段数据的最小值min_j和最大值max_j，并记录最大值和最小值对应的时间戳；

C3：根据min_j和max_j，将数据切分为m₂个区间，并统计每个区间内的数据量，并记为[mum_1j，mum_2j，…，mum_m2j]；

C4；计算如果mum_ij≤r，保留该区间内的所有数据；如果mum_ij>r则该区间内等间隔保留/>个数据；

C5：将各区间内筛选的数据及每个区间的最大值和最小值整合，得到分段法筛选后的数据。

4.根据权利要求1所述的一种基于分段瞬态识别的自适应数据缩减方法，其特征在于，所述阈值与每段数据内的最大值与最小值的差值呈正相关。