CN103150326A

CN103150326A - 面向概率数据流的Skyline查询方法

Info

Publication number: CN103150326A
Application number: CN2012105975742A
Authority: CN
Inventors: 孙圣力; 刘京; 陈杭
Original assignee: Wuxi Produces Study Grinds Cooperation Education Base Of Peking University Software & Microelectronic College
Current assignee: Wuxi Produces Study Grinds Cooperation Education Base Of Peking University Software & Microelectronic College
Priority date: 2012-12-21
Filing date: 2012-12-21
Publication date: 2013-06-12

Abstract

本发明公开了一种面向概率数据流的Skyline查询方法，包括：(1)构建一个概率数据流环境下对象的状态模型：将概率数据流中的每个元组看作一个对象，数据流中观察到的对象在进入系统之前先保存在缓冲区中；(2)新对象到达后，从系统中淘汰过期对象并增大被该过期对象支配的对象的Skyline概率；(3)接着计算新到达对象的Skyline概率并将该对象插入到其所属格中相应的队列中；(4)处理所有被新到达对象支配的对象，即降低被新到达对象支配的对象的Skyline概率。本发明采用适应性更强的网格索引的基础上，提出了概率定界、逐步求精、提前淘汰与选择补偿等启发式规则对算法从时间和空间两方面进行了系统地优化。

Description

面向概率数据流的Skyline查询方法

技术领域

本发明涉及一种不确定数据流的查询处理方法，具体涉及一种面向概率数据流的Skyline查询方法。

背景技术

多维空间上的Skyline查询处理技术是近年来数据库领域的研究热点。Skyline在偏好查询、多标准决策支持以及数据挖掘与可视化等方面应用广泛。此前大量的工作都专注于在静态数据集上计算Skyline，近年来也出现了一些在滑动窗口中计算Skyline的研究成果，最近以来，一种被称为概率数据流的数据形态逐步引起了人们的关注。Skyline查询是指从给定的一个D维数据对象集合S中选择一个子集，该子集中的任意一个数据对象都不能被S中的任意一个其他数据对象所支配。所谓支配关系是指在D维空间的数据集合S中，如果数据对象p至少在某一幅度上由于另一个数据对象q，而且数据对象p在其他维度上都不比数据对象q差(p优于或者等于q)，那么数据对象p能够支配数据对象q。

数据流管理与分析是近年来数据库领域的研究热点。最近两年以来，数据流的研究重心逐步转移到不确定的概率数据流。数据的不确定性分为两种：元组不确定性和属性不确定性。元组不确定性是指关系数据库中的一个元组关联着一个概率值，表明其存在的可能性，本发明的数据模型即是基于元组不确定性的；属性不确定性是指元组中的每个属性值是不精确的，精确程度以一定概率(或概率密度函数)表示。

与传统确定性数据流上的Skyline计算不同，概率数据流上的计算难点是：(1)尽可能早地淘汰那些不再有机会加入Skyline的对象；(2)采用合适的策略高效地确定新到达对象的身份。

现有的相关工作仅限于静态数据集或传统确定性数据流的Skyline查询处理，尚无人考虑概率数据流上的Skyline计算问题。

发明内容

本发明所要解决的技术问题是提供一种面向概率数据流的Skyline查询方法，能够解决现有技术的问题。

为了解决以上技术问题，本发明提供了一种面向概率数据流的Skyline查询方法，包括：

(1)准备阶段：构建一个概率数据流环境下对象的状态模型：将概率数据流中的每个元组看作一个对象，数据流中观察到的对象在进入系统之前先保存在缓冲区中；

(2)预备阶段：新对象到达后立即调用处理过期对象的方法，从系统中淘汰过期对象并增大被该过期对象支配的对象的Skyline概率；

(3)处理阶段：接着调用确定新到达对象身份的方法，计算新到达对象的Skyline概率并将该新到达对象插入到其所属格中相应的队列中；

(4)最后阶段：最后调用处理被新到达对象支配的方法，处理所有被新到达对象支配的对象，即降低被新到达对象支配的对象的Skyline概率。

优选地，本发明的面向概率数据流的Skyline查询方法，步骤(1)所述概率数据流的每一个元祖被赋予的属性包括：其在数据流中的序列号，其存在的概率，及其在各属性上的取值。

优选地，本发明的面向概率数据流的Skyline查询方法，位于所述缓冲区的概率数据流对象具有如下四种状态：到达态、候选Skyline态、处于Skyline态、和过期态；对象在其整个生命周期内呈现不同的状态，但在一个具体的时刻它只能处于一个确定的状态。

进一步地，本发明的面向概率数据流的Skyline查询方法，采用网格作为索引结构，并且采用队列来保存活动对象，每个网格中关联2个指针列表，分别指向该网格中的Skyline态和候选Skyline态对象的指针。

优选地，本发明的面向概率数据流的Skyline查询方法，步骤(3)将先到达的对象u的支配域和反向支配域划分为I、II、III、IV区域。

进一步地，本发明的面向概率数据流的Skyline查询方法，步骤(3)所述的确定新到达对象身份的方法采用概率定界方法，将新到达的对象u，记为格c，并称为格对象，所述格c的左下角和右上角分别记为C_min和C_max，可以得出任何支配C_min的对象必须支配u，而且任何支配u的对象也必须支配C_max。

更近一步地，本发明的面向概率数据流的Skyline查询方法，步骤(3)在到达目的的前提下尽可能地减少访问对象树，以减少支配测试的次数，在对所述III区的遍历访问过程中，如果所述到达对象u的概率上界小于概率阈值p，则停止遍历。

更近一步地，本发明的面向概率数据流的Skyline查询方法，步骤(4)中如果所述到达对象u不被它之后到达的活动对象支配的概率小于概率阈值p时，则将其立即从系统中提前淘汰。

更近一步地，本发明的面向概率数据流的Skyline查询方法，步骤(4)提前淘汰对象后，没有必要对这些对象进行概率补偿。

本发明具有以下优点：

1，本发明第二步采用了概率定界的规则，这种启发性规则大大提高了概率流处理过程中确定对象身份的效率。

2，本发明第二步采用了逐步求精的规则，这种思想即是在达到目的的前提下尽可能地减少访问的对象数，以减少支配测试的次数。在实施过程中，对III区的访问采取逐格逐对象推进的方式进行。为对象II增加一个属性，该属性用来保存在求精的过程中遍历停止的位置，这样就能获得对象Skyline概率的更精确值。

3，本发明第四步采用一种空间优化策略，该策略尽可能早地从滑动窗口中淘汰那些不再有机会加入Skyline的对象。在保证算法的正确性与完备性的前提下，将同时满足以下两个条件的对象提前从系统中淘汰：(1)U没有机会再加入Skyline；(2)将u提前淘汰不对u.DR中对象的身份判定造成影响。

4，本发明第四步在各个维上进行轮转执行，在不同维上取值较优的结果都能公平的输出，这样就能避免了对某维的偏向性。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1是本发明第一步构建的SOPDS处理过程中的数据结构结构图；

图2是本发明的概率数据流对象的状态转换图

图3是本发明的总流程图；

图4是对象的支配域和反支配域示意图；

图5计算优化策略示意图；

图6是本发明方法处理过期对象过程示意图；

图7是本发明计算新到对象的Skyline概率并确定新到对象身份的过程。

具体实施方式

本发明提供了一种面向概率数据流的Skyline查询方法，包括：

概率数据流的每一个元祖被赋予的属性包括：其在数据流中的序列号，其存在的概率，及其在各属性上的取值。令A＝{A₁，A₂，...，A_D}是一组有界并有序的域，O＝A₁×A₂×...×A_D是一个D维空间，称A₁，...，A_D为空间O的属性或维。不失一般性，本文假设

的定义域均为实数区间(0，1]，考虑一个数据集U，任何对象u∈U均来自空间O，且对象间相关独立，将u在属性A_i上的取值记为u.val_i。支配：给定任意两个对象u，v∈U.如果对于u.val_i≤v.val_i，且u.val_j＜v.val_j，则说u支配v，反之亦然。Skyline：集合U中所有不被其他对象所支配的对象组成的集合，称作U上的Skyline，记为SKY(U)。本文定义概率数据流为不确定元组的序列{<u₁，p₁>，...，<u_k，p_k>...}，其中：<u_i，p_i>是一个不确定元组；u_i是一个来自空间O的对象，对象间相互独立。

步骤(3)将先到达的对象u的支配域(Dominate Region，简记为DR)与反向支配区域(Adverse Dominate Region，简记为ADR)划分为I、II、III、IV 区域。某对象u的影响时间是指落在u的反支配区域内的对象的最大时间戳，删除u所支配的对象，是从系统中删除u的支配区域内的所有对象，对象的支配域和反支配域由图4所示。确定新到达对象身份的方法采用概率定界方法，将新到达的对象u，记为格c，并称为格对象，所述格c的左下角和右上角分别记为C_min和C_max，可以得出任何支配C_min的对象必须支配u，而且任何支配u的对象也必须支配C_max。在到达目的的前提下尽可能地减少访问对象树，以减少支配测试的次数，在对所述III区的遍历访问过程中，如果所述到达对象u的概率上界小于概率阈值p，则停止遍历。

步骤(4)中如果所述到达对象u不被它之后到达的活动对象支配的概率小于概率阈值p时，则将其立即从系统中提前淘汰。提前淘汰对象后，没有必要对这些对象进行概率补偿。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对发明方案进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图3是本发明的总流程图。具体流程如下：

第一步，技术方案首先将新到达的数据流对象u缓存在缓冲区中。

第二步，新对象到达后立即调用“处理过期对象模块”处理过期的对象，同时包括从系统中淘汰过期的u并增大被u支配的对象的Skyline概率。

第三步，接着调用“确定新到达对象身份”模块来计算u的Skyline概率并将u插入到其所属格中相应的队列中。

第四步，最后调用“处理被新到对象支配”模块来处理所有被u支配的对象，即降低被u支配的对象的Skyline概率

图1是本发明第一步构建的SOPDS(Skyline Computation Over Probabilistic Data Stream)处理过程中的数据结构结构图。

建立一个基于网格的索引结构，不失一般性，图1给出空间维度为2时算法的数据结构，此后的阐述将专注于空间维度为2时的情形。采用队列来保存活动对象，将新到达的对象插入到队列尾端，而过期的数据对象从队列头端直接删除。称该队列为活动对象列表，简记为AOL。AOL中对象的序列号是由头向尾递增的。换一种说法，称较早到达系统的对象较“老”，较迟到达的对象较“年轻”，则AOL头端对象较“老”，尾端对象较“年轻”。采用网格作为活动对象的索引，每个格关联2个指针列表，分别用来保存指向该网格中的Skyline和候选Skyline对象的指针。格中的每一个指针列表也是一个队列，指针列表随着数据对象的更新而动态维护，确保该队列所关联的对象的序列号也由头部向尾递增。SOPDS算法的输出则由Skyline对象指针列表表现出来。

如图2所示，在概率数据流环境下对象呈现出4种不同的状态，即达、候选Skyline、Skyline和过期状态.数据流中观察到的对象在进入系统之先保存在缓冲区中，对象位于缓冲区中，称之处于到达态；进入系统的对象，当前若不是Skyline对象但在将来有可能成加入Skyline，称之处于候选Skyline态；当前是Skyline对象中的称之处于Skyline态；对象过期后称之处于过期态。对象在其整个生命周期内呈现不同的状态，但在一个具体的时刻它只能处于一个确定的状态。

状态转换的触发条件图如下表一所示。

表一

图5是本发明方法的计算优化策略示意图。

本发明方法为了减少支配测试的次数，将先到达的对象U的支配域和反向支配域划分为I、II、III、IV区域。如图4所示，其中I、II区分别由被u.ADR和u.DR完全覆盖的格组成，III、IV区分别由被u.ADR和u.DR部分覆盖的格组成，u本身所在的格既属于III区也属于IV区。这样，计算过程就只在这四个区域中进行。计算新到对象的Skyline概率只需要考虑I、III区中的对象；处理被新来对象所支配的对象以及过期处理只需考虑II、IV区。

如图6和图7所示，下面用具体实例详细说明本发明的方法，其中本发明所涉及的符号说明如下表二所示：

表二

如图6是本发明方法的处理过期对象的方法流程图，其实施过程流程如下：

2.1遍历每一个过期的概率数据流对象u；

2.2遍历每一个过期概率数据流对象u的II区与IV区中的每一格c；

2.2.1将e.prt：＝c.prt/(1-u.e)；

2.2.2如果c位于II区，则e.plb：＝c.plb/(1-u.e)；

2.2.3遍历c中每一对象v；

2.2.3.1如果c位于II区或者c位于IV区并且u位于断点v.bp之间并且u支配v，则不被较老活动支配的概率u.pbf＝u.pbf/(1-u.e)；

2.2.3.1.1如果v来自候选Skyline列表，则对象v的Skyline概率上界P⁺ _SKY(u)＝c.plb*v，并且Skyline概率下界P^- _SXY(v)＝c.prt*v.e；

2.2.3.1.2采用概率定界规则，如果对象v的Skyline概率下界不小于p，则将v迁入到e的Skyline列表中；

2.2.3.1.2.1如果对象u的Skyline概率上界不小于p，则对其采用前面提到过的概率求精过程；

2.2.3.1.2.2如果v.pbf*v.paf*v.e＞p则将v迁入到Skyline对象列表，反之则返回。

图7是本发明计算新到来对象的Skyline概率并确定新到对象身份的过程的流程图，具体流程如下：

3.1输入为对象u.c为对象所属的格；

3.2将则不被较老活动支配的概率u.pbf的值设置成c.plb；

3.3将Skyline的概率上界P+SKY(u)＝c.plb*u.e，同理将Skyline的概率下界P-SKY(u)＝c.prt*u.e；

3.4采用概率定界规则，如果对象u的Skyline概率下界不小于p，则将u迁入到e的Skyline列表中；

3.5如果对象u的Skyline概率下界大于p，则将u插入到c中的候选Skyline列表。其他情况下，对u进行概率求精过程；

3.5.1如果u.pbf*u.paf*u.e＞p则将u插入到c中的Skyline列表，如果不满足上述条件则将u插入到c中的候选Skyline列表。

本发明处理新来对象支配的对象的过程：

4.1分层遍历u的II区和III区中每一格c，c.prt：＝c.prt*(1-u.e)具体情况看图4；

4.2如果c是II区中的每一格，则将C.plb的值赋成c.plb*(1-u.e)；

4.3遍历c中的每一对象v，如果c是II区中的格或者c是u的IV区中的格并且u支配v则v.paf：＝v.paf*(1-u.e)；

4.3.1如果v不被较新活动支配的概率小于p，则调用删除无效对象并恢复环境过程(后面会详细描述)，如果v不被较新活动支配的概率不满足上述条件，则会进行如下过程；

4.3.1.1如果v来自Skyline列表，则P+SKY(v)＝c.plb*v；P-SKY(v)＝c.prt*v；

4.3.1.2如果P的Skyline概率上限小于p，则将v迁入到c中的Skyline列表；

4.3.1.3如果P的Skyline概率下限小于p，则调用概率求精过程；

4.3.1.4如果v.pbf*v.paf*v.e＜p，则将v迁入到c中的候选Skyline列表。

最后，所有的对象u被处理完，算法结束。

本发明公开了面向概率数据流上的Skyline查询方法，提出一种基于网格索引的数据结构，本发明提出的SOPDS算法在采用适应性更强的网格索引的基础上，应用了概率定界、逐步求精、提前淘汰与选择补偿等启发式规则，技术方案首先将新到达的数据流对象u缓存在缓冲区中。第二步，新对象到达后立即调用“处理过期对象模块”处理过期的对象，同时包括从系统中淘汰过期的u并增大被u支配的对象的Skyline概率。第三步，接着调用“确定新到达对象身份”模块来计算u的Skyline概率并将u插入到其所属格中相应的队列中。最后，调用“处理被新到对象支配”模块来处理所有被u支配的对象，即降低被u支配的对象的Skyline概率。实验表明，本发明在时间与空间上具有较高的整体性能。

Claims

1.一种面向概率数据流的Skyline查询方法，其特征在于，包括：

2.如权利要求1所述的面向概率数据流的Skyline查询方法，其特征在于，步骤(1)所述概率数据流的每一个元祖被赋予的属性包括：其在数据流中的序列号，其存在的概率，及其在各属性上的取值。

3.如权利要求1所述的面向概率数据流的Skyline查询方法，其特征在于，位于所述缓冲区的概率数据流对象具有如下四种状态：到达态、候选Skyline态、处于Skyline态、和过期态；对象在其整个生命周期内呈现不同的状态，但在一个具体的时刻它只能处于一个确定的状态。

4.如权利要求3所述的面向概率数据流的Skyline查询方法，其特征在于，采用网格作为索引结构，并且采用队列来保存活动对象，每个网格中关联2个指针列表，分别指向该网格中的Skyline态和候选Skyline态对象的指针。

5.如权利要求1所述的面向概率数据流的Skyline查询方法，其特征在于，步骤(3)将先到达的对象u的支配域和反向支配域划分为I、II、III、IV区域。

6.如权利要求5所述的面向概率数据流的Skyline查询方法，其特征在于，步骤(3)所述的确定新到达对象身份的方法采用概率定界方法，将新到达的对象u，记为格c，并称为格对象，所述格c的左下角和右上角分别记为C_min和C_max，可以得出任何支配C_min的对象必须支配u，而且任何支配u的对象也必须支配C_max。

7.如权利要求6所述的面向概率数据流的Skyline查询方法，其特征在于，步骤(3)在到达目的的前提下尽可能地减少访问对象树，以减少支配测试的次数，在对所述III区的遍历访问过程中，如果所述到达对象u的概率上界小于概率阈值p，则停止遍历。

8.如权利要求6所述的面向概率数据流的Skyline查询方法，其特征在于，步骤(4)中如果所述到达对象u不被它之后到达的活动对象支配的概率小于概率阈值p时，则将其立即从系统中提前淘汰。

9.如权利要求8所述的面向概率数据流的Skyline查询方法，其特征在于，步骤(4)提前淘汰对象后，没有必要对这些对象进行概率补偿。