CN110489601B - 一种基于缓存机制的实时数据索引快速动态更新方法 - Google Patents

Abstract

本发明提供一种基于缓存机制的实时数据索引快速动态更新方法，通过在索引树中维护一个插入元素集IS和一个删除元素集DS作为索引元素的辅助处理元素集，实现索引数据的缓存机制；该缓存机制可以有效降低树形索引在动态更新时树结构的调整次数，从而提升树形索引的更新性能。这种缓存机制应用在实时处理系统中，可以同时满足实时处理系统对索引的查询和更新性能的要求。

Description

一种基于缓存机制的实时数据索引快速动态更新方法

技术领域

本发明属于计算机数据处理的技术领域。

背景技术

数据的实时处理已经成为数据分析的主流方式。很多系统都会产生大量的实时数据，比如工业传感器检测到的电气信号、移动设备发出的GPS信息、电子商务网站上的用户浏览信息、系统运行日志等。如果对这些实时数据能做出的反应越快，从中获取的好处就越大。毕竟越新鲜的数据才越有价值。在电网系统中更是如此，越早检测或预测出设备故障，就能越快地采取保护措施避免产生更大的损失。比如下面一个例子：一个设备的故障会产生一系列的动作，故障导致线路短路；短路的过流电流导致线路上的开关断开；然后设备会产生一个紧急保护动作。整个过程中的开关断开信号和紧急保护动作信号会上传到实时处理系统中。实时系统根据这个两个信号判断出某个设备发生了故障，然后传递给下游系统处理这个故障。一次故障的开关断开信号的保护动作信号并不是按时有序到达系统的，这期间会有网络延迟。所以这两个信号是乱序到达的，两者之间的间隔可能高达十几秒。系统每秒接收的数据量高达百万，如果再缓存十几秒的历史数据，那么系统处理的数据量就高达千万。从千万级别的数据中检测出所有的设备故障信息并且要求低延迟，这是一件有挑战的事情。

然而，在实时处理系统中不仅要求索引有良好的查询性能，还要求索引有快速的更新能力。因为实时处理系统中要求数据具有实时性，所以需要频繁地从索引中删除旧数据和插入新数据。

索引树通常是一棵平衡树。如果不保证树的平衡性，在极端情况下索引树就会变成一个链表。在这种情况下，索引的查询就变成对链表的穷举扫描。索引也就失去了意义。但保证树形索引的平衡性也是索引更新性能低下的原因。因为在动态更新索引的情景下，树会经常失衡，这就使得索引树需要经常调整树结构。

接下来介绍在动态更新时索引树是如何调树结构的。

a)R树

R树是B树在高维数据上的拓展。它广泛应用在地理信息系统，地图应用和轨迹处理等领域中。R树的每个节点的数据结构可以用如下的方式表达。

<MBR,Level,Data,Parent>

在R树中所有的索引对象存储在叶节点中，即叶节点的索引项都是R树的索引对象。非叶节点的索引项是该节点的子节点。在R树中每个索引项被表示成它的MBR(最小外包矩形)。非叶节点的MBR是它所有索引项的MBR的最小外包矩形，即MBR的MBR。Level指的是当前节点在树中的高度。Data是每个节点的索引项。每个节点的索引项的数量有一个上界M和一个下届m。m是M的两倍，但叶节点的索引项的下界是2。Parent是当前节点的父节点。另外，R树是一颗完全平衡的树，即所有叶子节点都在树的最低层。

在R树上执行的查询有两种，一种是范围查询，另一种是K临近查询。范围查询指的是查找在一个指定空间区域内所有的对象。K临近查询指的是查找距指定对象距离最近的K的对象。K临近查询可以转换为范围查询。范围查询调用一个递归算法，这个算法的大致过程如下：第一，把根节点作为当前节点；第二，当前节点是非叶节点，把所有子节点的MBR与查询区域的MBR相交的子节点先后作为下一个当前节点继续递归算法；第三，当前节点是叶节点，若某个索引对象的MBR被包含在查询区域的MBR中，就将这个索引对象添加到结果集中。

接下来介绍一下R树的插入算法。插入算法的任务就是将一个索引对象插入到R树中。它可以被表示成下面三个步骤：

找到一个最适合插入新索引对象的叶节点。寻找这个叶节点的算法如下：第一，把根节点作为当前节点继续这个算法；第二，当前节点是叶节点，返回叶节点，结束算法；第三，当前节点是非叶节点，若把这个新索引元素插入到某个子节点后该子节点的MBR的面积增加的最小，就将这个子节点作为下一个当前节点，如果有多个这样的子节点时，就将MBR最小的子节点作为下一个当前节点继续算法。

将新的索引对象插入到上一步找到的叶节点中。如果插入新的索引元素导致这个叶节点的索引项的个数超过M。调用分裂算法，将叶节点一分为二，原叶节点的的索引项被分成两部分。常用的分裂算法有线性分裂法，二次分裂法等。如果某节点的分裂导致其父节点的索引项超过M也要将其父节点进行分裂，直到根节点。

插入新的索引项后要从叶节点到根节点更新每个节点的MBR。

R树删除算法的任务是从R树中删除指定的索引对象，具体内容如下：

调用一个算法找出指定索引对象所在的叶节点。这个算法首先找出可能包含有删除元素的叶节集，过程如下所示：第一，如果根节点是叶节点，根节点添加到结果集中。否则把根节点作为当前节点；第二，当前节点是非叶节点，把所有子节点的MBR能包含删除元素的MBR的子节点先后作为当前节；第三，当前节点是叶节点，将当前节点添加到查询叶节点集中。从得到的结果集中找出包含删除元素的叶节点。

将删除元素从叶节点中删除，如果这导致叶节点的索引项越过下界m，将这个叶节点从树中删除，将叶节点中剩余的元素添加到需要重新插入索引树的集合中，这个集合称为重插集。如果删除叶节点导致父节点的索引项数目越过下界，也要将父节点从树中删除，然后将其子树中的索引对象都添加到重插集中，直到根节点。最以后将重插集中的元素重新插入到树形索引中。

R树的插入算法可能会导致执行多次分裂算法导致树的结构被调整多次，删除算法可能会导致执行多次插入算法。这两个算法都可能导致树的结构被调整，这是R树更新算法效率低下的原因。

b)B树

B树被广泛应用在数据库系统中，比如，MySql，Redis等。B树从二叉查找树和二叉平衡树中发展而来。其常见的变种是B+树。B树叶节点是一个存储索引对象的集合，B树的非叶节点的数据结构如下所示：

<N,A0,K1,A1,K2,A2,K3…AN-1,KN,AN>

B树和R树很多性质都一样。比如：所有索引对象都存储在叶节点上；每个节点的索引项的数目有一个上界M一个下界m；M是m的两倍，叶节点的m可以是2。每个非叶节点上有N个关键字，K1,K2…KN。这些关键字是升序排列的。A0...AN是指向N+1个子节点的指针。第i个子节点中存储的任意索引对象的关键字Kx都满足Ki<Kx<Ki+1，第0棵子树中索引对象的关键字没有下界，第N棵子树的索引对象的关键字没有上界。和R树一样，向B树中插入一个索引对象可能会引起叶节点中的索引项超过M，这就需要分裂叶节点，分裂后可能又导致上层节点的索引项数目越界需要多次分裂节点。从B树中删除一个索引对象可能会导致叶节点的索引项越过下界m，这就需要进行多次节点的融合。这些节点的分裂和融合操作需要做大量的计算，会导致B树的更新性能低下。

c)索引树动态更新的一个例子

因为R树和B树的更新非常相似，用图1这一个例子来演示它们的动态更新过程。图1中的索引树的节点索引项数目上界是4，下界是2。在Step1中指令1要求将D5S23插入到索引树中。假设它需要插入到节点A中，这会导致节点A中的索引项数目超过4。这时需要分裂节点A。A被分裂成A.1和A.2，分裂后的索引树如Step2所示。这时又有一条指令2，它要求将节点B中的D4S2删除。删除D4S2后节点B中的索引项数目越过下界2，这需要把节点B和其兄弟节点融合。将B的索引项融合到A.2后的结果如Step3所示。这时指令3要求将D7S8插入到节点A.2中，这又会导致A.2分裂成A.2.1和A.2.2。

从上面一个例子可以看出树形索引的动态更新会导致其内部结构的不断调整这是索引树更新性能低下的首要原因。

故，需要一种新的技术方案以解决上述技术问题。

发明内容

发明目的：针对现有技术存在的不足，本发明目的是如何降低树形索引在动态更新时树结构的调整次数，从而提升树形索引的更新性能。

技术方案：本发明可采用以下技术方案：

一种基于缓存机制的实时数据索引快速动态更新方法，包括：

在索引树中维护一个插入元素集IS和一个删除元素集DS；IS中记录需要插入到索引的元素，但是还没有执行插入操作；DS中记录需要从索引中删除的元素，但是还没有执行删除操作；

当一个元素需要插入到索引中时，寻找一个插入该元素的叶节点。当这个叶节点中的索引项的数目是上界M时，则不将该元素插入到叶节点中，而是将该元素添加到IS中；

当一个元素需要从索引中删除时，寻找该元素所在的叶节点；当没有找到该元素所在的叶节点并且该元素在IS中时，直接将该元素从IS中删除，结束删除算法；如果找到该元素所在的叶节点且该叶节点索引项的数目是下界m时，不删除该元素，而是将该元素添加到DS中；如果叶节点的索引项的数目并不是m，则直接删除该元素；

如果IS或者DS中的元素数超过了规定的阈值，则执行批量更新操作，批量更新操作为：如果DS中的某个元素和IS中的某个元素在同一个叶节点上，将叶节点上DS中的元素替换成IS中的元素；将DS和IS中剩余的元素分别更新到索引中去。

有益效果：本发明提供的缓存机制可以有效降低树形索引在动态更新时树结构的调整次数，从而提升树形索引的更新性能。对于一维数据的树形索引，如B树，缓存机制会略微降低索引的查询性能，但是相比于它对索引的更新性能提升，这个损失的可以接受的。对于索引高维数据的树形索引，比如R树，缓存机制能同时提高索引的查询性能和更新性能。因为数据在索引中的聚集效果是影响树形索引查询性能的一个重要因素。本发明提供的缓存机制能有效提升高维数据对应的树形索引对数据的聚集效果，所以这种缓存机制能提升R树的查询性能。这种缓存机制应用在实时处理系统中，可以同时满足实时处理系统对索引的查询和更新性能的要求。

附图说明

图1是现有技术中的更新树形索引流程示意图；

图2为添加缓冲机制之后的树形索引的更新流程示意图；

图3为R树在不同缓存大小下的性能对比示意图；

图4为B树在不同缓存大小下的性能对比示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

请结合图2所示，本发明提供了一种基于缓存机制的实时数据索引快速动态更新方法，在计算机技术的许多领域都应用过缓冲机制，比如CPU和内存之间高速缓存能降低CPU的访存次数，从而提高计算机的运算速度。在树形索引的动态更新过程中引入缓存机制能有效地降低索引树的结构调整次数，从而缓解索引动态更新效率低下的问题。加入缓存机制后索引树的动态更新过程如下所示：

维护一个插入元素集IS和一个删除元素集DS。IS中记录需要插入到索引的元素，但是还没有执行插入操作。DS中记录需要从索引中删除的元素，但是还没有执行删除操作。

当一个元素需要插入到索引中时，寻找一个最适合插入该元素的叶节点。当这个叶节点中的索引项的数目是上界M时，不是将这个元素插入到叶节点中，而是将这个元素添加到IS中。

当一个元素需要从索引中删除时，寻找这个元素所在的叶节点。当没有找到叶节点时，这个元素可能在IS中，如果是这样，直接将这个元素从IS中删除，结束删除算法。如果有这样的叶节点且其索引项的数目是下界m时，不删除这个元素，而是将这个元素添加到DS中。如果叶节点的索引项的数目并不是m，则可以直接删除这个元素。

如果IS或者DS中的元素数超过了预先规定的阈值，则执行批量更新操作，这个过程如下所示：如果DS中的某个元素和IS中的某个元素在同一个叶节点上，将叶节点上DS中的元素替换成IS中的元素；将DS和IS中剩余的元素分别更新到索引中去。

在当下流行的实时处理框架Apache Flink中对比加入缓冲机制前后索引的更新性能和查询性能。实验的代码均用Java实现。测试的数据集是电网系统的设备实时监控数据。

实验所用的主机配置如下：CPU:24Core@2.2GHz,Memor-y256GB@2400MHz。Flink的配置如下：JVM Heap@9.0GB，Flink Managed Memory@6.29GB.

图3是R树在不同缓存大小下的性能对比。从图中看出加入缓存后R树的删除和查询消耗的时间明显下降，插入元素消耗的时间略有上升。查询性能上升的原因是添加缓存机制后，是索引的更新变成批量更新使得索引对数据的聚集度提升了不少。当索引对数据的聚集度比较高时，会使索引的查询路径变少，从而提高R树的查询性能。插入性能下降删除性能上升，但是将两个合在一起看待，整体的更新性能还是被提升了的。这归功于在动态更新时缓存机制能降低R树调整结构的次数。

图4是B树在不同缓存大小下的性能对比。图中更新时间是由插入时间和删除时间相加而得。可以明显看出在加入缓存机制后B树的更新需要的时间明显减少，查询需要的时间有所增加。说明加入缓存机制后B树的更新性能提升，而查询性能降低。因为B树中的索引对象是一维数据，不像R树中的高维数据可以通过提升数据的聚集度来提升查询效率。但是相比于减少的百分之十六查询性能，缓冲机制对更新性能提升的幅度有百分之四十五。因此在B树中使用缓存机制也是一件有意义的事情。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种基于缓存机制的实时数据索引快速动态更新方法，其特征在于，包括：

在索引树中维护一个插入元素集IS和一个删除元素集DS；IS中记录需要插入到索引的元素，但是还没有执行插入操作；DS中记录需要从索引中删除的元素，但是还没有执行删除操作；

当一个元素需要插入到索引中时，寻找一个插入该元素的叶节点；当这个叶节点中的索引项的数目是上界M时，则不将该元素插入到叶节点中，而是将该元素添加到IS中；

当一个元素需要从索引中删除时，寻找该元素所在的叶节点；当没有找到该元素所在的叶节点并且该元素在IS中时，直接将该元素从IS中删除，结束删除算法；如果找到该元素所在的叶节点且该叶节点索引项的数目是下界m时，不删除该元素，而是将该元素添加到DS中；如果叶节点的索引项的数目并不是m，则直接删除该元素；

如果IS或者DS中的元素数超过了规定的阈值，则执行批量更新操作，批量更新操作为：如果DS中的某个元素和IS中的某个元素在同一个叶节点上，将叶节点上DS中的元素替换成IS中的元素；将DS和IS中剩余的元素分别更新到索引中去。

2.根据权利要求1所述的实时数据索引快速动态更新方法，其特征在于，选用的索引树为R树。

3.根据权利要求1所述的实时数据索引快速动态更新方法，其特征在于，选用的索引树为B树。

4.根据权利要求1或2或3所述的实时数据索引快速动态更新方法，其特征在于，实时数据选用电网系统的设备实时监控数据。

5.根据权利要求1所述的实时数据索引快速动态更新方法，其特征在于，IS或者DS中的元素数的规定阈值选为2。

Images