CN103345586B - 面向传感器网络数据流的均匀抽样方法 - Google Patents

Abstract

面向传感器网络数据流的均匀抽样方法，属于传感器网络数据处理技术领域。本发明为了解决现有网络传感器数据流的海量性与计算机硬件资源有限存在矛盾的问题。它首先设定传感器网络的滑动窗口数据流的窗口尺寸和采样尺寸；从第一个基本窗口中随机选择一个元素索引作为代表索引；当该代表索引对应的元素到达时，进行存储；获取下一个基本窗口中的代表索引，直至当前第一个基本窗口的代表索引与当前时刻对应的当前基本窗口的代表索引的差大于窗口尺寸，删除第一个基本窗口的代表索引对应的元素；当采样样本数据的个数大于采样尺寸时，随机删除一个采样样本数据，循环执行该步骤直到传感器网络的数据流结束。本发明用于网络数据流的均匀抽样。

Description

面向传感器网络数据流的均匀抽样方法

技术领域

本发明涉及面向传感器网络数据流的均匀抽样方法，属于传感器网络数据处理技术领域。

背景技术

传感器网络技术作为信息获取与信息转化的重要手段，广泛地应用于工业检测、自动控制、医疗卫生、环境保护以及航空航天等领域，己经成为实现信息化的基础技术之一。

传感器网络是由一组传感器构成的有线或无线网络，其目的是协作地感知、采集和处理网络覆盖的地理区域中感知对象的信息，并发布给观察者。它集成了传感器技术、微系统即微器件技术、通信技术、嵌入式技术和分布式信息处理技术等，用来实时地采集和监测各种被监控对象的数据和信息，对数据和信息进行计算处理后，将得到的处理结果提供给网络的使用者。传感器网络所采用的传感器体积微小，造价便宜，目前希望达到造价的目标为1美元以下，以适合大量用于侦测的投放。传感器节点的分布密度有时可达到20个/m³。这些传感器不但能够探测周围环境的改变，并且可以处理收集到的探测数据，并将处理后的数据送到数据收集节点，即汇聚节点。现有传感器已经广泛应用于军事、环境、空间探索、医疗健康等诸多领域。

在传感器网络中，传感器的数据多以数据流的形式与计算机管理系统进行通信，传感器网络的特点如下所示：

（1）计算能力有限。传感器网络中的传感器都具有嵌入式处理器和存储器。这些传感器都具有计算能力，可以完成一些信息处理工作。但是，由于嵌入式处理器和存储器的能力和容量有限，传感器的计算能力十分有限。

（2）传感器数量大、分布范围广。传感器网络中传感器节点密集，数量巨大，可能达到几百、几千万，甚至更多。

（3）感知数据流流量巨大。传感器网络中的每个传感器通常都产生较大的流式数据，并具有实时性。每个传感器仅仅具有有限的计算资源，难以处理巨大的实时数据流。

考虑到传感器网络中多采用同步时钟的方式进行数据采集，其数据的大量性，导致用户只能关注最近一段时间内的数据，也就是滑动窗口数据流模型，但是即便如此，大量的分布传感器，其当前窗口内的数据仍然对于存储空间具有较大挑战，所以针对于滑动窗口的网络数据流，利用抽样方法形成对当前窗口内数据的抽样样本，以形成对原始数据的近似是传感器网络数据流分析及处理发展的必然要求。

目前针对于数据流比较流行的算法主要有水库抽样算法、链式抽样算法、SBWRS算法以及最优抽样算法。对于水库抽样算法，其只能处理数据流中新数据的输入，而不能满足过期数据的删除，故不适用于滑动窗口传感器网络数据流模型。而链式抽样算法其在最坏情况下内存使用量不确定，导致了资源的浪费，且作为多重采样算法，需要同时维护多个采样链。SBWRS算法需要存储整个窗口，只适用于小窗口，而对传感器网络数据流的海量数据，其适用性较差。最优抽样也是多重抽样算法，需要同时维护多个抽样值。考虑到传感器网络数据流的大量性，应利用相对较少的内存使用量满足用户设定的采样样本要求，目前均匀抽样算法更普遍且更受关注，即数据成为样本的概率需保持一致。

发明内容

本发明目的是为了解决现有网络传感器数据流的海量性与计算机硬件资源有限存在矛盾的问题，提供了一种面向传感器网络数据流的均匀抽样方法。

本发明所述面向传感器网络数据流的均匀抽样方法，它包括以下步骤：

步骤一：设定传感器网络的滑动窗口数据流的窗口尺寸为N，采样尺寸为k，则每个基本窗口尺寸为N/k，N/k的比值为向下取整的比值，则第一个基本窗口中的元素索引为[1,2,3,…,N/k]，第二个基本窗口中的元素索引为[N/k+1,N/k+2,…,2*N/k],……，第i个基本窗口中的元素索引为[(i-1)*N/k+1,…,i*N/k]；

步骤二：采用UBCS算法从第一个基本窗口中随机选择一个元素索引作为代表索引；

步骤三：当第一个基本窗口中的代表索引对应的元素到达时，进行存储，并以此作为均匀抽样数据流的采样样本数据的开始；

步骤四：顺次获取下一个基本窗口中的代表索引，并在该下一个基本窗口中的代表索引对应的元素到达时，进行存储，直至当前第一个基本窗口的代表索引与当前时刻对应的当前基本窗口的代表索引的差大于窗口尺寸N时，删除当前第一个基本窗口的代表索引对应的元素；同时当均匀抽样数据流的采样样本数据的个数大于采样尺寸k时，从均匀抽样数据流的采样样本数据中随机删除一个采样样本数据，循环执行该步骤直到传感器网络的数据流结束。

所述步骤一中传感器网络的滑动窗口数据流的窗口尺寸N为6，采样尺寸k为2，则每个基本窗口尺寸N/k为3，则第一个基本窗口中的元素索引为[1,2,3]，第二个基本窗口中的元素索引为[4,5,6]，……。

所述步骤二中选取的第一个基本窗口中的代表索引为2。

所述步骤三中当第一个基本窗口中代表索引2对应的元素到达时，进行存储，并以此作为均匀抽样数据流的采样样本数据的开始。

选取第二个基本窗口中的代表索引为5，获取第二个基本窗口中的代表索引5，并在该代表索引5对应的元素到达时，进行存储；选取第三个基本窗口中的代表索引为7，再获取第三个基本窗口中的代表索引7，并在该代表索引7对应的元素到达时，进行存储；此时均匀抽样数据流的采样样本数据的个数为3个，大于采样尺寸2，则从均匀抽样数据流的采样样本数据中随机删除一个采样样本数据；选取第四个基本窗口中的代表索引为11，再继续获取第四个基本窗口中的代表索引11，此时，代表索引11与第一个基本窗口中的代表索引2的差为9，大于窗口尺寸6，则代表索引2所对应的元素过期删除，循环执行直到传感器网络的数据流结束。

本发明的优点：本发明针对滑动窗口的传感器网络数据流，为一种面向传感器网络数据流的概要生成方法----均匀抽样方法UniformBasicChainSampling,UBCS，其操作简单，生成的采样样本数据可以综合地反映原始传感器网络数据流的特性。本发明面向滑动窗口传感器网络数据流，为更均匀的反映整个有效窗口的信息，其均匀抽样数据流的采样样本数据均匀的分布在整个窗口中。它引进基本窗口技术的思想，融合了链式抽样算法，达到了以下效果：

1、抽样算法满足均匀抽样，每一组传感器网络数据流以相同的概率成为采样样本。

2、本发明所述抽样方法在最坏情况下内存使用量O(k)固定，其相同时间采集的所有传感器的数据为1组，采样尺寸k为可采集的传感器数据流的组数。

3、所述采样样本数据均匀分布在每个基本窗口内，更好地反映了窗口内传感器网络数据流的整体信息。

本发明适用于同步传感器网络数据流采集领域，适用于抽样尺寸与滑动窗口尺寸之比、即抽样比小于0.3的情况，其对于海量数据的处理，适用性强，其在最坏情况下的内存使用量仅为O(k),从而使得获得相同尺寸的抽样样本时，其内存使用量性能更好，可以更好地应用于海量数据的概要生成。

本发明所述UBCS算法运用了基本窗口技术的思想，提出了运用单链的数据流结构实现抽样样本的均匀分布特性。简单来说，通过UBCS算法得到的样本较高的概率覆盖了整个窗口内有效数据的信息，样本不会集中在某一区域而忽略其他有效部分，这就更便于用户了解当前滑动窗口数据流的综合信息。

附图说明

图1是本发明所述面向传感器网络数据流的均匀抽样方法的流程图；

图2是本发明所述UBCS算法的执行实例示意图；

图3是链式抽样算法的抽样结果曲线图；

图4是链式抽样算法抽样数据分布曲线图；

图5是SBWRS算法抽样结果曲线图；

图6是SBWRS抽样算法抽样数据分布曲线图；

图7是UBCS算法抽样结果曲线图；

图8是UBCS抽样数据分布曲线图。

具体实施方式

具体实施方式一：下面结合图1和图2说明本实施方式，本实施方式所述面向传感器网络数据流的均匀抽样方法，它包括以下步骤：

步骤一：设定传感器网络的滑动窗口数据流的窗口尺寸为N，采样尺寸为k，则每个基本窗口尺寸为N/k，N/k的比值为向下取整的比值，则第一个基本窗口中的元素索引为[1,2,3,…,N/k]，第二个基本窗口中的元素索引为[N/k+1,N/k+2,…,2*N/k],……，第i个基本窗口中的元素索引为[(i-1)*N/k+1,…,i*N/k]；

步骤二：采用UBCS算法从第一个基本窗口中随机选择一个元素索引作为代表索引；

步骤三：当第一个基本窗口中的代表索引对应的元素到达时，进行存储，并以此作为均匀抽样数据流的采样样本数据的开始；

步骤四：顺次获取下一个基本窗口中的代表索引，并在该下一个基本窗口中的代表索引对应的元素到达时，进行存储，直至当前第一个基本窗口的代表索引与当前时刻对应的当前基本窗口的代表索引的差大于窗口尺寸N时，删除当前第一个基本窗口的代表索引对应的元素；同时当均匀抽样数据流的采样样本数据的个数大于采样尺寸k时，从均匀抽样数据流的采样样本数据中随机删除一个采样样本数据，循环执行该步骤直到传感器网络的数据流结束。

本实施方式中，若只关注最近一天的数据，传感器网络的采集速率为0.5s，则N=24*3600/0.5=172800，采用UBCS算法将滑动窗口数据流分为多个基本窗口。采样样本数据若对应于传感器网络数据流，则数据为高维的。

具体实施方式二：下面结合图1和图2说明本实施方式，本实施方式对实施方式一作进一步说明，本实施方式所述步骤一中传感器网络的滑动窗口数据流的窗口尺寸N为6，采样尺寸k为2，则每个基本窗口尺寸N/k为3，则第一个基本窗口中的元素索引为[1,2,3]，第二个基本窗口中的元素索引为[4,5,6]，……。

具体实施方式三：下面结合图1和图2说明本实施方式，本实施方式对实施方式二作进一步说明，本实施方式所述步骤二中选取的第一个基本窗口中的代表索引为2。

具体实施方式四：下面结合图1和图2说明本实施方式，本实施方式对实施方式三作进一步说明，本实施方式所述步骤三中当第一个基本窗口中代表索引2对应的元素到达时，进行存储，并以此作为均匀抽样数据流的采样样本数据的开始。

具体实施方式五：下面结合图1至图8说明本实施方式，本实施方式对实施方式四作进一步说明，本实施方式中选取第二个基本窗口中的代表索引为5，获取第二个基本窗口中的代表索引5，并在该代表索引5对应的元素到达时，进行存储；选取第三个基本窗口中的代表索引为7，再获取第三个基本窗口中的代表索引7，并在该代表索引7对应的元素到达时，进行存储；此时均匀抽样数据流的采样样本数据的个数为3个，大于采样尺寸2，则从均匀抽样数据流的采样样本数据中随机删除一个采样样本数据；选取第四个基本窗口中的代表索引为11，再继续获取第四个基本窗口中的代表索引11，此时，代表索引11与第一个基本窗口中的代表索引2的差为9，大于窗口尺寸6，则代表索引2所对应的元素过期删除，循环执行直到传感器网络的数据流结束。

本实施方式针对传感器技术的采集速率及获取的数据量大大增加的特点，由于数据量具有快速、实时和无限的特点，使得其不能像传统数据那样被全部存储、分析及处理，因此要生成传感器数据流的概要结构，概要结构成为对传感器数据流进行分析与处理的重要环节。同时由于在对传感器数据进行分析时，用户重点关注的是最近一段时间内的传感器数据，进行了滑动窗口数据流概要结构的设计，它具有同时接受新数据的输入和及时删除过期数据的功能。抽样算法做为概要结构的重要生成算法，利用单链抽样实现了面向滑动窗口传感器数据流的均匀抽样算法。

图2为本发明所述UBCS算法的执行实例，其窗口尺寸N为6，采样尺寸k为2。图中A处箭头表示新数据到达的方向，该数据右侧的数字表示元素索引，采样样本数据内的数字表示代表索引，B表示数据过期删除，C表示抽样样本数大于采样样本尺寸删除。

在图2中，等宽的基本窗口尺寸为3。其算法执行过程如下：

第一个基本窗口的元素索引为[1,2,3]，从这个基本窗口中随机选取一个索引，假定为2；当索引为2的数据到达时，将其存储在样本中，并从下一个基本窗口[4,5,6]中随机选取一个索引值，假定所选值为5；则索引3,4对应的数据到达时，将其忽略；当索引5对应的数据到达时，将其存储在抽样链中，并从下一个基本窗口[7,8,9]中随机选择一个索引，假定选取的为7；索引为7的数据到达，将其存储后样本尺寸达到3，大于设定的采样样本尺寸2，此时采取的处理方式是随机从3个采样样本数据中选取一个进行删除，此处假设删除的是索引5对应的数据，同时从下一个基本窗口[10,11,12]中随机选取一个索引，假设为11；当前数据索引为11时，索引为2的数据过期则删除，如此执行直到数据流结束，UBCS算法执行流程如图1所示。

分析与讨论，各个算法占用内存情况分析及比较：

本发明方法主要实现了以下三个目标：

一、本发明方法中，假设当前数据流元素的索引为i，它将以1/[N/k]的概率成为采样样本。所以UBCS算法是均匀抽样算法，均匀抽样算法使得每个数据成为采样样本的可能性保持一致，在应用中更为普遍。

二、目前的滑动窗口数据流抽样算法主要是尽量利用较少的内存使用量来获得要求的采样样本数。本发明中UBCS算法通过将数据流的索引分为多个按时间顺序排列的等宽的基本窗口，实现了最坏情况下O(k)的内存使用量，且假设数据流是单维的情况，其内存使用量最多为k+1。下面列出用于滑动窗口数据流的抽样算法期望、高概率以及最坏情况下的内存使用量，其中CS算法和过采样算法最坏情况下内存使用量不确定：

表1:滑动窗口不同抽样算法的内存使用量

从表1中可以看到，UBCS算法的内存使用量在最坏情况下固定，且仅为O(k)，而链式抽样算法的高概率情况下的内存使用量为O(klogN)，即为滑动窗口尺寸对数与抽样尺寸乘积的高阶无穷小。

三、UBCS算法运用了基本窗口技术的思想，提出了运用单链的数据流结构实现抽样样本的均匀分布特性。简单来说，通过UBCS算法得到的样本较高的概率覆盖了整个窗口内有效数据的信息，样本不会集中在某一区域而忽略其他有效部分，这就更便于用户了解当前滑动窗口数据流的综合信息。

算法对比实验：

为了对本发明提出的UBCS算法进行对比，人为生成100个服从正态分布的数据，其均值为0，标准差为1。将比较受关注的链式抽样算法、以及SBWRS算法用作对比。窗口尺寸N为50，采样尺寸k为20，数据流可为单维的，也可拓展至高维的传感器网络数据流，本例中数据采用单维的，三种算法的采样样本结果如图3至图8所示。

从以上的例子可以看出，通过UBCS算法得到的抽样样本较均匀的分布在当前的有效窗口内，链式抽样算法的样本分布不是很均匀，从图3的一些小细节中可以看出，如在73,74索引处，93,94索引处其较近的数据都成为样本，而74到81之间却没有数据成为样本，样本表达的数据流信息不均匀。而SBWRS算法虽然内存使用量与本发明提出的算法相当，但是由于其第一个窗口内采用水库抽样，导致部分过期数据没有及时删除，如图5所示。而通过UBCS算法得到的抽样样本以较高的概率保持了基本均匀分布于当前的有效窗口的特性，较好的反应了数据流的综合信息，如图7所示。

Claims (5)

1.一种面向传感器网络数据流的均匀抽样方法，其特征在于，它包括以下步骤：

步骤一：设定传感器网络的滑动窗口数据流的窗口尺寸为N，采样尺寸为k，则每个基本窗口尺寸为N/k，N/k的比值为向下取整的比值，则第一个基本窗口中的元素索引为[1,2,3,…,N/k]，第二个基本窗口中的元素索引为[N/k+1,N/k+2,…,2*N/k],……，第i个基本窗口中的元素索引为[(i-1)*N/k+1,…,i*N/k]；

步骤二：采用均匀抽样方法从第一个基本窗口中随机选择一个元素索引作为代表索引；

步骤三：当第一个基本窗口中的代表索引对应的元素到达时，进行存储，并以此作为均匀抽样数据流的采样样本数据的开始；

步骤四：顺次获取下一个基本窗口中的代表索引，并在该下一个基本窗口中的代表索引对应的元素到达时，进行存储，直至当前第一个基本窗口的代表索引与当前时刻对应的当前基本窗口的代表索引的差大于窗口尺寸N时，删除当前第一个基本窗口的代表索引对应的元素；同时当均匀抽样数据流的采样样本数据的个数大于采样尺寸k时，从均匀抽样数据流的采样样本数据中随机删除一个采样样本数据，循环执行该步骤直到传感器网络的数据流结束。

2.根据权利要求1所述的面向传感器网络数据流的均匀抽样方法，其特征在于，

所述步骤一中传感器网络的滑动窗口数据流的窗口尺寸N为6，采样尺寸k为2，则每个基本窗口尺寸N/k为3，则第一个基本窗口中的元素索引为[1,2,3]，第二个基本窗口中的元素索引为[4,5,6]，……，第i个基本窗口中的元素索引为[(i-1)*3+1,(i-1)*3+2,i*3]。

3.根据权利要求2所述的面向传感器网络数据流的均匀抽样方法，其特征在于，

所述步骤二中选取的第一个基本窗口中的代表索引为2。

4.根据权利要求3所述的面向传感器网络数据流的均匀抽样方法，其特征在于，

所述步骤三中当第一个基本窗口中代表索引2对应的元素到达时，进行存储，并以此作为均匀抽样数据流的采样样本数据的开始。

5.根据权利要求4所述的面向传感器网络数据流的均匀抽样方法，其特征在于，选取第二个基本窗口中的代表索引为5，获取第二个基本窗口中的代表索引5，并在该代表索引5对应的元素到达时，进行存储；选取第三个基本窗口中的代表索引为7，再获取第三个基本窗口中的代表索引7，并在该代表索引7对应的元素到达时，进行存储；此时均匀抽样数据流的采样样本数据的个数为3个，大于采样尺寸2，则从均匀抽样数据流的采样样本数据中随机删除一个采样样本数据；选取第四个基本窗口中的代表索引为11，再继续获取第四个基本窗口中的代表索引11，此时，代表索引11与第一个基本窗口中的代表索引2的差为9，大于窗口尺寸6，则代表索引2所对应的元素过期删除，循环执行直到传感器网络的数据流结束。