CN103795420B - 一种基于分段的sbr多属性数据压缩方法 - Google Patents

Abstract

本发明提供了一种基于分段的SBR多属性数据压缩算法。其主要包括：对于采集来的多种属性的性能数据，通过相关系数矩阵将属性分为基信号和非基信号；用基信号回归表示非基信号并得出回归参数，若由回归参数表示的预测值与实际值的误差大于阈值，则将属性进行分段，再进行回归表示，直到误差小于阈值；最后只需传送基信号和回归参数。本发明提出的方法在满足一定误差要求的前提下，能够压缩待传输的性能数据，节省了带宽，提高了性能数据的传输效率。

Description

一种基于分段的SBR多属性数据压缩方法

技术领域

本发明涉及一种基于分段的SBR多属性数据压缩方法。本发明属于异构网络领域，涉及异构网络性能管理中对性能数据进行压缩处理的方法。

背景技术

随着无线网络技术(蜂窝网络、卫星网络、移动自组网、传感器网络等)的发展,计算机网络已经不再局限于有线、单一同构网络了,而是呈现高度异构化的趋势即向异构网络方向发展。异构网络不是一个新兴的网络，而是将原有的网络(例如高速有线网络、低速移动无线网络和卫星通信网络等)中不同的网络设备，不同通信技术和不同网络协议相互连接而形成的网络形态。

异构网络不是一个新兴的网络，它是将现有的多种网络协同组合成一个整体的混合网络。由于包含的网络设备数量庞大、种类繁多、功能迥异、结构多样，而且随着网络规模不断扩大，网络的复杂程度不断的增加，当多个异构网连在一起时，经常出现无法预知的交互作用，这种复杂性经常会导致性能下降，迫切需要对异构网络进行管理和监控。

异构网络包含多个网络的不同设备，为了保证不同设备的正常运行，网络管理系统需要实时监测异构网络中的网络参数和设备参数，设备种类的繁多造成海量性能数据，其在传输的过程中不仅占据大量带宽，而且影响性能数据的传输的效率。由于性能数据间具有相关性，如何在保证性能数据传输不失真的情况下，减少大量的性能数据，是目前急需解决的问题。

发明内容

技术问题：本发明针对异构网络中海量性能数据占据大量带宽，影响传输效率问题，提供一种基于分段的SBR多属性数据压缩方法，用来去除属性间的冗余性，减少待传输的性能数据量，节省带宽资源，提高数据传输效率。

技术方案：本发明的基于分段的SBR多属性数据压缩方法，包括如下步骤：

1)对于采集来的性能数据，根据属性间的相关性，计算相关系数矩阵，规范化误差和收益界；

2)建立基集合BaseSet和候选集合CandSet，把所有属性初始化为候选集合；

3)计算相关系数矩阵中每行相关系数的绝对值之和，并把值最大的那个属性划归到基集合中，作为第一个基信号；

4)计算剩余属性的期望收益；

5)若期望收益大于收益界，则把相关系数矩阵中每行数据的绝对值之和最大相对应的属性划归到基集合BaseSet中作为基信号，并返回步骤4)；则将所有剩余的属性保留在候选集合CandSet中作为非基信号，进入步骤6)；

6)用基信号线性表示非基信号，并得出回归参数；

7)利用基于分段的SBR算法计算预测值与实际值之间的误差平方和，若误差平方和大于阈值，则对属性数据进行分段，并执行6)；若误差平方和小于阈值，则线性表示结束，传输基信号，对于非基信号，只需传输相对应的回归参数即可。

收益界的选取决定了基信号的个数，收益界越大，基信号越少，误差越大，数据压缩效率越高。因此误差平方和进行判决的阈值采用收益界值。

附图说明

图1是本发明的异构网络性能管理架构图。

图2基于本发明的异构网络性能数据处理流程。

图3是本发明的基于分段的SBR算法流程图。

具体实施方式

下面结合附表和附图与具体实施方式对本发明作进一步详细描述。

图1是本发明的异构网络性能管理架构图，性能数据在异构网络中的处理流程为：

(1)数据采集器以周期轮训的方式采集异构网络中的用户设备和网络设备的性能数据，如流量、负载、丢包、设备温度、CPU利用率、网络延迟，性能数据通过传输设备(路由器或交换机)进行传输，然后存储在局部数据库中；

(2)网管软件从局部数据库提取实时性能数据和当前历史性能数据，通过对性能数据分析、统计、整理，生成性能报告、发出相应的性能配置指令，并把有关的性能数据存储在全局数据库中。

考虑到异构网络是一个混合的网络，包含多个网络的不同设备，设备种类的繁多造成海量性能数据，其在传输的过程中不仅占据大量带宽，而且影响性能数据的传输的效率。由于性能数据具有相关性，因此本发明提供一种基于分段的SBR算法，以收益界做为判决门限，并采用分段近似回归的方法处理处理属性间的相关性。该方法作用在传输设备中(如路由器或交换机)，用于去除性能数据间的冗余性，减少性能数据的传输量，达到节省带宽，提高性能数据传输效率的目的。图2为基于本发明的异构网络性能数据处理流程。

下面给出本发明的具体实施案例：

(1)设路由器或交换机中存储了N个时刻采集的某一设备M种属性的性能数据，用矩阵表示为：

其中，X_i表示设备的第i种属性，x_i,j表示第i种属性的第j个采样值。

根据相关系数公式，计算属性间的相关系数矩阵为规范化误差为e_norm＝|norm(Z)-norm(Y)|，其中Y_max和Y_min分别为一段时间内采样数据的最大值和最小值，norm(Y)∈[0,1]；收益界为

(2)建立基集合BaseSet和候选集合CandSet，把所有属性初始化为候选集合。初始化时，候选集合包含M个序列，基集合为空。若将候选集合中的非基属性X_j添加到基集合，采用期望收益作为判决依据。期望收益表示为 bestfit_j＝max(|r_ij|)，i∈BaseSet。

基集合BaseSet的结构如下：

候选集合CandSet的结构如下：

(3)根据公式计算相关系数矩阵中每行数据的绝对值和，将和最大对应的属性数据加入基集合作为第1个基信号。继续寻找其他基信号，每次选择候选集合中期望收益大于收益界且值最大的X_j加入基集合。

(4)对于非基信号Y，从基集合列表中选出合适的基信号X_pos来近似表示Y，其线性函数表示为：a和b为回归参数。

(5)计算由回归参数表示的预测值与实际值之间的误差平方和，若误差平方和大于收益界，则对基信号和非基信号进行分段，然后再进行线性表示；若误差平方和小于阈值，则线性表示结束，传输基信号，对于非基信号，只需传输相对应的回归参数即可，本发明的伪代码如下所示：

Require:X，Y，start_x，start_y，length，cnterr；//start表示数据开始位置，

//length表示参加计算的数据个数，cnterr表示误差大于误差限的次数

int cnterr＝1；int start＝0；int length＝N；

for i＝start to start+length-1{

sum_x＝∑_{start≤i≤length}X[i+start_x]//求和

sum_y＝∑_{start≤i≤length}Y[i+start_y]

sum_xy＝∑_{start≤i≤length}X[i+start_x]Y[i+start_y]

sum_x2＝∑_{start≤i≤length}X[i+start_x]²

{在[start_y，start_y+length]范围内，计算原始数据Y和近似回归数据的误差平方和}

If fabs(a_cnterr×X[i]+b_cnterr－Y[i]>eps)

{cnterr++；

start+＝N/cnterr；

length＝N/cnterr；}

Else return(a_cnterr，b_cnterr，err)；}

本发明不同于原有的数据压缩算法之处在于：本发明提出的改进算法应用于异构网络环境中，去除性能数据间的冗余性，不同于原有的数据压缩算法应用于无线传感器单个节点或多个节点中；且本发明的改进算法采用基于分段的自回归预测算法，在满足误差需求的基础上，具有较高的压缩率，能够大大减少异构网络中性能数据的传输量，节省带宽资源，提高数据传输效率。

数据压缩广泛应用于无线传感器网络，用来去除数据间的冗余性，本发明借鉴这一思想，提出一种改进的SBR算法，即在SBR算法基础上采用收益界值作为误差平方和的阈值，并采用分段近似回归的方法处理误差较大问题，实验结果表明，改进的算法不仅能满足压缩效率和误差的需求，而且算法复杂度低，适合于复杂的异构网络。

Claims (3)

1.一种基于分段的SBR多属性数据压缩方法，其特征在于包含以下步骤：

1)根据属性间的相关性，计算相关系数矩阵，规范化误差和收益界；

2)建立基集合BaseSet和候选集合CandSet，把所有属性初始化为候选集合；

3)计算相关系数矩阵中每行相关系数的绝对值之和，并把值最大的那个属性划归到基集合中，作为第一个基信号；

4)计算剩余属性的期望收益；

5)若期望收益大于收益界，则把相关系数矩阵中每行数据的绝对值之和最大相对应的属性划归到基集合BaseSet中作为基信号，并返回步骤4)；若期望收益小于收益界，则将所有剩余的属性保留在候选集合CandSet中作为非基信号，进入步骤6)；

6)用基信号线性表示非基信号，并得出回归参数；

7)利用基于分段的SBR算法计算预测值与实际值之间的误差平方和，若误差平方和大于阈值，则对属性数据进行分段，并执行6)；若误差平方和小于阈值，则线性表示结束，传输基信号，对于非基信号，只需传输相对应的回归参数即可。

2.根据权利要求1所述的一种基于分段的SBR多属性数据压缩方法，其特征在于步骤1)中，按照下式计算收益界值：

$eps=\left|\right|e|{|}_2=\sqrt{\frac{1}{N}\underset{i=0}{\overset{N-1}{\Σ}}{e_i}^2}$

其中：N为采集性能数据的个数；i表示：大于等于0、小于等于N-1的整数；e_i表示：第i个规范化误差；e表示误差。

3.根据权利要求1所述的一种基于分段的SBR多属性数据压缩方法，其特征在于步骤7)中，按照下式计算预测值与实际值之间的误差平方和：

$err={\Σ}_{i=0}^{length-1}{(Y\[i+start\_y\]-(a\_cnterrX\[i+start\_x\]+b\_cnterr\left)\right)}^2$

其中：X为基信号，Y为非基信号；

start表示数据开始位置，start_x为基信号数据开始位置，start_y为非基信号数据开始位置；length表示参加计算的数据个数，cnterr表示误差大于阈值的次数，即信号分段的段数，a_cnterr和b_cnterr为线性回归函数Y＝aX+b中第cnterr个分段的回归参数。