CN107038457A

CN107038457A - 一种基于主分量信噪比的遥测数据压缩批处理方法

Info

Publication number: CN107038457A
Application number: CN201710213396.1A
Authority: CN
Inventors: 董建超; 王守银; 李建冬; 崔广志; 张烨; 梁迎彬
Original assignee: Beijing Machinery Equipment Research Institute
Current assignee: Beijing Machinery Equipment Research Institute
Priority date: 2017-04-01
Filing date: 2017-04-01
Publication date: 2017-08-11
Anticipated expiration: 2037-04-01
Also published as: CN107038457B

Abstract

本发明涉及一种基于主分量信噪比的遥测数据压缩批处理方法，包括：实时获取遥测数据信息；循环导入遥测数据；计算导入数据的冗余度，根据冗余度判断是否需要压缩处理；否，无需压缩直接存储；是，采用主分量分析法对导入数据进行压缩处理后实时输出；所述主分量分析法以主分量信噪比为目标函数。该方法针对遥测数据海量存储的问题，提出采用冗余度判断是否需要压缩，以主分量信噪比为目标函数，直观地提取主分量，在最大化保留数据信息的前提下，最有效地实现数据压缩。

Description

一种基于主分量信噪比的遥测数据压缩批处理方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于主分量信噪比的遥测数据压缩批处理方法。

背景技术

遥测系统中，需要对被测对象无人机的压力、温度、湿度、角度等多参数进行采集并无线通讯传输至地面，通过数据分析处理对无人机的状态进行评价及监测。遥测试验中需要对反映各部分工作状态及环境多个参数进行测量，并且会持续较长时间，将产生海量的遥测数据，而且遥测系统也正朝着高精度的方向发展，这也势必会增加数据量。假设遥测时间为1400s时，遥测码率仅以320kb/s的较慢速度计算，考虑到数据传输处理时的冗余量，最终存储数据约为600M。若遥测码率提高10倍到兆级别，那么总数据量将多达几G甚至十几G或更多，对数据判读分析提出很大的挑战。遥测数据参数众多、数据量庞大，如何进行数据压缩保留有效信息，成为遥测数据分析处理中首要解决的问题。

由于遥测数据具有多样性特征，在实际应用中，如何在不损失数据信息的前提下，最有效地进行数据压缩及信息提取，是亟需解决的问题。实际遥测过程中，大多依旧人工分析判读数据，这种方法存在效率低下、耗费大量的人力物力的问题，尤其是测试过程较长时更为明显。现有的数据压缩方法中，主分量分析是适应这一需求的统计分析方法，通过提取出不相关的特征变量，降低原有数据的维数及冗余度，实现数据的压缩及特征提取。其往往根据经验确定分量贡献率的阈值，例如分量贡献率阈值通常设定为90％，进行主分量提取，其余低阶分量判定为噪声进行截断。由于遥测数据种类繁多，具有多样性及复杂性，基于阈值的主分量分析难以有针对性地调整贡献率阈值，因此很可能会损失有效信息，对遥测数据压缩产生不良影响。

发明内容

鉴于上述的分析，本发明旨在提供一种基于主分量信噪比的遥测数据压缩批处理方法，该方法针对遥测数据巨大、人工分析效率低，而当前数据压缩方法又难以有效地进行数据批处理压缩的问题，在最大化保留数据信息的前提下，最有效地实现海量遥测数据的压缩存储。

本发明的目的主要是通过以下技术方案实现的：

一种基于主分量信噪比的遥测数据压缩批处理方法，包括以下步骤：

步骤1、实时获取遥测数据信息；

步骤2、循环导入遥测数据；

步骤3、计算导入数据的冗余度，根据冗余度判断是否需要压缩处理，是则进入步骤4；否，无需压缩直接存储；

步骤4、采用主分量分析法对导入数据进行压缩处理后实时输出；所述主分量分析法以主分量信噪比为目标函数，主分量信噪比为相邻两阶分量的特征值比值；

步骤5、判断循环是否结束，否，则返回步骤2继续处理。

进一步，所述步骤3包括如下子步骤：

步骤301、计算导入数据数据x＝[x₁,x₂,…,x_m]^T的协方差矩阵C_x及相关系数矩阵R_x；

其中，m为导入遥测数据维数，上标T代表转置，各个行向量x_i包含等量的数据点，i＝1,…m；

步骤302、根据下式计算协方差矩阵的各个元素，组成协方差矩阵；

C_x(i,j)＝E[(x_i-E(x_i))(x_j-E(x_j))],i＝1,…m,j＝1,…m；

其中，E(·)为向量的期望值估计。

步骤303、利用下式由协方差矩阵的各个元素计算得到原始数据的相关系数矩阵R_x的元素R_x(i，j)，组成相关系数矩阵R_x；

步骤304、对相关系数矩阵三角元素R_x(i,j)的绝对值进行判断，当所有绝对值均小于阈值时，则判断结果为不需要进行压缩直接存储；否则判断结果为需要进行压缩，进入步骤4。

进一步，所述阈值取值为0.3.

进一步，所述步骤4包括：

步骤401、对协方差矩阵C_x进行特征值分解，得到特征值对角阵D和特征向量矩阵V，所述对角阵D的对角元素按降序排列；

步骤402、计算主分量信噪比SNR(i,i+1),i＝1,…m-1；

主分量信噪比SNR(i,i+1)＝λ_i/λ_i+1,i＝1,…m-1，为相邻两阶分量的特征值比值；

步骤403、根据步骤402中的主分量信噪比得到主分量的临界点；

步骤404、根据所述临界点，取p阶及p阶之前的特征向量构建压缩矩阵[v₁,v₂,…,v_p]；

步骤405、利用所述压缩矩阵对数据进行压缩，存储压缩后的数据PC_p；所述压缩采用下式进行：

PC_p＝[v₁,v₂,…,v_p]^Tx。

进一步，

所述步骤401中，V,D,C_x满足如下关系：

C_xV＝VD

其中：D的对角线元素λ_i对应第i阶分量的特征值，并且按降序排列；V的各列向量v_i对应第i阶分量对应的特征向量，i＝1,…m。

进一步，所述步骤403中，当主分量信噪比数值大于10，出现第一个显著峰值SNR(p,p+1),p≤m-1时，说明主分量的信息量出现临界点。

本发明有益效果如下：

本方法首先通过数据的相关系数矩阵定性分析数据冗余度，然后提出主分量信噪比作为技术指标，当主分量信噪比突然增大出现峰值时，表明前一阶分量的信息量远远高于后一阶分量的信息量，将前一阶分量作为主分量提取的临界点，其余的低阶分量判定为噪声进行截断。能够适应遥测数据种类繁多，数据海量的压缩批处理问题。对数据类型、实际经验等没有特定要求，在最大化保留数据信息的前提下直观地实现数据降维压缩。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例流程图；

图2为本发明具体实施例相关系数示意图；

图3为本发明具体实施例主分量信噪比示意图；

图4为本发明具体实施例提取各阶主分量相关系数示意图；

图5为采用现有方法的分量贡献量示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

如图1所示，本实施例提供了一种基于主分量信噪比的遥测数据压缩批处理方法，

包括以下步骤：

步骤1、实时获取遥测数据信息；

步骤2、循环导入遥测数据；

常见的遥测数据存储格式为Excel、TXT、DAT，在此以Excel格式为例，进行批量导入操作说明。多个Excel文件存储在固定路径下，每个文件中分别存储不同工况、不同时间点的原始数据。

具体地，包括：

步骤301、计算数据x＝[x₁,x₂,…,x_m]^T的协方差矩阵C_x及相关系数矩阵R_x；

其中，m为原始数据维数，上标T代表转置，各个行向量x_i包含等量的数据点，i＝1,…m；如为压力数据时，各个行向量x_i数据为同一时刻，所有压力传感器所采集的不同部位的压力数据；x＝[x₁,x₂,…,x_m]^T为m个采集时刻所采集得到的压力数据；

C_x(i,j)＝E[(x_i-E(x_i))(x_j-E(x_j))],i＝1,…m,j＝1,m；

其中，E(·)为向量的期望值估计。

步骤304、对相关系数矩阵三角元素R_x(i,j)的绝对值进行判断，当所有绝对值均小于0.3时，则判断结果为不需要进行压缩直接存储；否则判断结果为需要进行压缩，进入步骤4。

相关系数的绝对值在[0,1]之间，代表两个向量的线性相关程度。在样本数目足够多的条件下，当相关系数在0.3以下，表示数据的相关性较弱；如果相关系数高于0.3时，表示数据之间存在冗余，有必要进行数据压缩处理；该0.3值的选取，为经过长期实践，分析得到的临界值，其代表了有必要进行数据压缩的客观指标。

步骤4、采用主分量分析法对导入数据进行压缩处理后存储；所述主分量分析法以主分量信噪比为目标函数，主分量信噪比为相邻两阶分量的特征值比值；

具体地，包括：

V,D,C_x满足如下关系：

C_xV＝VD

其中：D的对角线元素λ_i对应第i阶分量的特征值，并且按降序排列；V的各列向量v_i对应第i阶分量对应的特征向量，i＝1,…m；

步骤402、计算主分量信噪比SNR(i,i+1),i＝1,…m-1；

所述主分量信噪比SNR(i,i+1)＝λ_i/λ_i+1,i＝1,…m-1，为相邻两阶分量的特征值比值；

步骤403、当主分量信噪比数值大于10，出现第一个显著峰值SNR(p，p+1)，p≤m-1时，说明主分量的信息量出现临界点；

主分量信噪比的变化趋势有增加有降低，可能存在多个大小峰值，当其数值大于10，且为第一个显著的峰值时，说明峰值及之前的分量远高于后续分量的信息量，后续分量所含信息很低，可作为噪声截断。

步骤405、利用所述压缩矩阵对数据进行压缩，得到压缩后的数据PC_p；所述压缩采用下式进行：

PC_p＝[v₁,v₂,…,v_p]^Tx。

步骤5、判断循环是否结束，否，则返回步骤2继续处理。

上述处理过程可由Matlab脚本文件实现，包括：获取遥测数据信息、批量导入遥测数据、数据冗余度判定、特征值求解及排序、主分量信噪比求解及临界阶数确定、数据压缩处理及存储程序。程序的基本框架如下：

files_info＝dir('E:\遥测数据\*.xls')；％获取遥测数据文件信息

for k＝1:length(files_info)％从第一个文件开始，循环处理遥测数据

……％批量导入遥测数据

……％数据冗余度判定

……％特征值求解及排序

……％主分量信噪比求解及临界阶数确定

……％数据压缩处理及存储

end

1.批量导入遥测数据

在此以Excel格式为例，进行批量导入遥测数据的操作说明。多个Excel文件存储在上位机的固定路径下，每个文件中分别存储不同工况、不同时间点的原始数据。本方法的程序代码为Matlab循环语句，批量导入遥测数据的步骤及代码如下：

huancun＝zeros；％导入数据至工作空间，变量命名为“缓存”

huancun＝xlsread(['E:\遥测数据\',files_info(k).name],1)；

导入的遥测数据均存在一定程度的冗余，需要对每个数据进行冗余度判定，然后进行主分量求解，计算主分量信噪比，进行压缩处理。

2.数据冗余度判定

相关系数矩阵R_x为对角矩阵，对矩阵上三角元素的绝对值逐行判定，如果数值均小于0.3，说明遥测数据之间相关性非常弱，输出CR_x＝0；如果其中的元素数值大于0.3时，说明数据之间存在一定的冗余度，需要进一步压缩处理，跳出循环，输出CR_x＝1。当CR_x＝0时，不再进行数据压缩处理，直接保存遥测数据至指定路径“E:\压缩数据”。否则，说明遥测数据存在冗余，继续进行后续的压缩处理步骤。

数据冗余度判定的代码如下：

3.特征值求解及排序

特征值及特征向量求解的代码如下：

[V,D]＝eig(Cx)；％特征值分解

D＝diag(D)；

[D,IX]＝sort(D,'descend')；％按照特征值大小，对特征值及特征向量排序

V＝V(:,IX)；

4.主分量信噪比求解及临界阶数确定：

代码如下：

得到主分量的临界阶数后，保留临界阶数以及之前的主分量进行数据压缩，并在上位机中存储。存储数据加入前缀“com_”，保存至指定路径“E:\压缩数据”。

5.数据压缩及存储：

代码如下：

PC＝V(:,1:hold_IX)'*x；

xlswrite(['E:\压缩数据\com_',files_info(k).name],PC)；

实现了遥测数据压缩批处理的整个程序。

以下，采用一具体数据对多维数据的冗余度判定、主分量信噪比临界阶数判定、数据压缩过程进行数值仿真，验证本方法的有效性及鲁棒性。

原始数据为一6×3维混合矩阵，具体数值如下：

[0.55,0.39,0.45；0.45,0.68,0.53；0.76,0.81,0.27；

0.69,0.09,0.10；0.60,0.28,0.55；0.12,0.04,0.94]。

计算数据的协方差矩阵以及相关系数矩阵。相关系数矩阵如图2所示。可以发现，相关系数绝对值普遍大于0.3，说明原始数据之间存在数据之间存在很大的关联性，非常有必要进行数据压缩以降低数据冗余度。

计算相邻特征值的比值，得到主分量信噪比，如图3所示。由图3可以直观的发现，1/2、2/3主分量信噪比较小，表明前三阶分量的信息量基本一致；3/4主分量信噪比突然增大达到23，是信噪比的第一个显著峰值，表明第3阶分量的信息量远高于第4分量的信息量，第4阶分量所含信息很低。提取前3阶分量作为主分量，其余低阶分量判定为噪声进行截断，实现数据压缩。

前3阶主分量的相关系数如图4所示，提取的主分量相关系数为零，压缩后的数据之间互不相关，降低了数据的冗余度。

为了验证本方法的优越性，按照现有应用中的分量贡献率进行主分量提取，将结果进行对比。前q阶(q＜m)分量贡献率计算如下：前q阶特征值之和除以所有特征值的总和。分量贡献率如图5所示。可以发现，前2阶分量的贡献率已经接近95％，若采用分量贡献率作为参数指标提取前两阶主分量进行数据压缩，将会损失有效信息，对后续的数据分析以及特征提取造成影响。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于主分量信噪比的遥测数据压缩批处理方法，其特征在于：

包括以下步骤：

步骤1、实时获取遥测数据；

步骤2、循环导入遥测数据；

步骤4、采用主分量分析法对导入数据进行压缩处理后存储；所述主分量分析法以主分量信噪比为目标函数，所述主分量信噪比为相邻两阶分量特征值的比值；

步骤5、判断循环是否结束，否，则返回步骤2继续处理。

2.根据权利要求1所述的方法，其特征在于，所述步骤3包括如下子步骤：

其中，m为导入遥测数据维数，上标T代表转置，各个行向量x_i包含等量的数据点，i＝1,...m；

C_x(i,j)＝E[(x_i-E(x_i))(x_j-E(x_j))],i＝1,...m,j＝1,...m；

其中，E(·)为向量的期望值估计。

3.根据权利要求2所述的方法，其特征在于，所述阈值取值为0.3。

4.根据权利要求2所述的方法，其特征在于，所述步骤4包括：

步骤402、计算主分量信噪比SNR(i,i+1),i＝1,...m-1；

所述主分量信噪比SNR(i,i+1)＝λ_i/λ_i+1,i＝1,...m-1，为相邻两阶分量的特征值比值；

步骤404、根据所述临界点，取p阶及p阶之前的特征向量构建压缩矩阵[v₁,v₂,…,v_p]，其中的p为临界点的分量阶数；

PC_p＝[v₁,v₂,…,v_p]^Tx。

5.根据权利要求4所述的方法，其特征在于：

所述步骤401中，V,D,C_x满足如下关系：

C_xV＝VD

其中：D的对角线元素λ_i对应第i阶分量的特征值，并且按降序排列；V的各列向量v_i对应第i阶分量对应的特征向量，i＝1,...m。

6.根据权利要求4或5所述的方法，其特征在于：所述步骤403中，当主分量信噪比数值大于10，出现第一个显著峰值SNR(p,p+1),p≤m-1时，说明主分量的信息量出现临界点。